Tok - оценщик токенов
Инструмент для оценки токенов с субмикросекундной точностью, поддерживающий 100+ ИИ‑моделей. Обрабатывает запросы размером в мегабайты с минимальными зависимостями и формулой усреднения для совместимости между моделями.
2025•Инновации в ИИ•Published
Основные функции
- ✓Multi-provider support: 'OpenAI, Anthropic, OpenRouter, Llama models'
- ✓Enterprise features: Per-million token pricing with separate prompt/completion rates
- ✓Lightweight design: Minimal dependencies for maximum performance
Воздействие
- **Sub-microsecond performance** for instant token estimation
- **100+ model support** through averaging formula approach
- **MB-scale prompt handling** with minimal dependencies
- **20MB size reduction** by removing TIC token dependency
- **Developer Efficiency**: Instant cost visibility prevents budget overruns
- **Enterprise Ready**: Supports programmatic budget management
- **Global Adoption**: Used worldwide via npm registry
- **Performance Optimization**: Trade-off of precision for significant performance gains
Технологический стек
Базовый стек
TypeScriptJavaScriptNode.js
- TypeScript/JavaScript
- Node.js 18.0.0+
- Plugin-based provider system
- Averaging formula for token estimation
Теги
ИИоценка_токеновоптимизация_стоимостистоимость_LLMсубмикросекундныймультипоставщиклегковесныйOpenAIAnthropicClaudeGPT-4инструменты_разработчикаnpm-пакет