tokenu — du-like Token Counter for Repos

Main

• 在把仓库交给 agent 之前先跑一遍：token 统计能快速定位哪些目录（如 dist/）会吞掉上下文预算。

• agent 管线优先用 --json 输出，让 agent 在固定 token 上限内规划要读哪些文件。

• 需要比较不同模型的 token 开销时，用 --model/--encoding 对比不同 tokenizer 的差异。

Source-backed notes

• README 提供免安装 Quick Start：npx tokenu .。
• README 支持 agent 可消费 JSON 输出：tokenu --json。
• README 列出 encodings（o200k_base、cl100k_base 等）及 --max-depth、--exclude 等参数。

FAQ

• tokenu 会自动帮我省 token 吗？：不会。README 说明它是测量工具，用于告诉你成本，方便你决定排除/摘要哪些内容。
• agent 能程序化使用吗？：可以。用 tokenu --json 输出结构化结果让 agent 解析。
• 这是估算还是实际分词？：README 表示它使用真实 tokenizer 做实际 tokenization，而非启发式估算。