跳到正文
原文
Hugging Face Blog·· 16 小时前精选AI 评分82

Microsoft 与 Hugging Face 发布 ThinkingBox:基于后端状态与一致性的 AI Agent 评测基准

The Agent Said It Was Done. The Database Disagreed.

AI 导读

Microsoft 联合 Hugging Face 推出 ThinkingBox-Bench,通过检查 AI 智能体在 507 个有状态业务工作流中留下的数据库终态和副作用来评估其表现,而非仅看生成的文本或工具调用。

推荐理由

原文提出以数据库终态和20次重复一致性评估智能体,揭示了单次成功率与可靠性的巨大差距及成本影响。

来源:Hugging Face Blog · huggingface.co