Publié
Tok - Estimateur de jetons
Outil d'estimation de tokens sub-microseconde prenant en charge 100+ modèles d'IA. Gère des invites à l'échelle MB avec des dépendances minimales et une formule de moyenne pour la compatibilité inter-modèles.
Impact
- Sub-microsecond performance for instant token estimation
- 100+ model support through averaging formula approach
- MB-scale prompt handling with minimal dependencies
- 20MB size reduction by removing TIC token dependency
- Developer Efficiency: Instant cost visibility prevents budget overruns
- Enterprise Ready: Supports programmatic budget management
- Global Adoption: Used worldwide via npm registry
- Performance Optimization: Trade-off of precision for significant performance gains
Caractéristiques clés
- Multi-provider support: 'OpenAI, Anthropic, OpenRouter, Llama models'
- Enterprise features: Per-million token pricing with separate prompt/completion rates
- Lightweight design: Minimal dependencies for maximum performance
Continuer la lecture