Tok - Estimateur de Tokens

Outil d'estimation de tokens sub-microseconde prenant en charge 100+ modèles d'IA. Gère des invites à l'échelle MB avec des dépendances minimales et une formule de moyenne pour la compatibilité inter-modèles.

2025Innovation IAPublished

Caractéristiques clés

  • Multi-provider support: 'OpenAI, Anthropic, OpenRouter, Llama models'
  • Enterprise features: Per-million token pricing with separate prompt/completion rates
  • Lightweight design: Minimal dependencies for maximum performance

Impact

- **Sub-microsecond performance** for instant token estimation - **100+ model support** through averaging formula approach - **MB-scale prompt handling** with minimal dependencies - **20MB size reduction** by removing TIC token dependency - **Developer Efficiency**: Instant cost visibility prevents budget overruns - **Enterprise Ready**: Supports programmatic budget management - **Global Adoption**: Used worldwide via npm registry - **Performance Optimization**: Trade-off of precision for significant performance gains

Pile technologique

Pile principale

TypeScriptJavaScriptNode.js
  • TypeScript/JavaScript
  • Node.js 18.0.0+
  • Plugin-based provider system
  • Averaging formula for token estimation

Étiquettes

IAestimation-de-tokenoptimisation-de-coûtcoûts-LLMsub-microsecondemulti-fournisseurlégerOpenAIAnthropicClaudeGPT-4outils-développeurpackage-npm