ttok 1.0发布默认切换至GPT-5/6分词器

2026年10月9日，开发者 Simon Willison 宣布 ttok 工具正式更新至 1.0 版本。此次更新的核心变化是将默认使用的分词器从 GPT-4 切换为 GPT-5/GPT-6。这一决策基于 William Liu 提供的实验数据，该数据证实了 GPT-5 与 GPT-6 的分词器在行为上完全一致。为了确保准确性，作者对多个测试模型进行了验证，结果显示所有模型在处理 31 个固定测试用例（fixtures）时，均报告了相同的 token 数量——44,794 tokens，且结果完全匹配。这标志着 ttok 1.0 在底层计算逻辑上完成了向新一代 OpenAI 模型标准的对齐，为用户提供更贴近当前主流大模型实际计费与处理机制的 token 估算服务。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。