跳到正文
原文
Simon Willison·· 14 小时前AI 评分40

ttok 1.0 发布,默认切换至 GPT-5/GPT-6 分词器

ttok 1.0

AI 导读

ttok 1.0 正式发布,将默认分词器从 GPT-4 切换为 GPT-5/GPT-6。作者依据 William Liu 的实验数据确认两者 tokenizer 一致,所有测试模型在 31 个 fixtures 上均报告 44,794 tokens 且完全匹配。

来源:Simon Willison · simonwillison.net