评测从「看回答」改成「查数据库」：Agent 评测的软肋被点出来了
观点：智能体的成绩单应该是「它改了什么」，而不是「它说了什么」
Microsoft 联合 Hugging Face 发布 ThinkingBox：一个智能体沙箱环境，以及配套基准 ThinkingBox-Bench。它覆盖 507 个有状态的业务工作流，每个任务重复运行 20 次，判定标准不是模型输出的文字，而是任务结束时的数据库终态与副作用。整套环境可在 Hugging Face 的 OpenEnv 上运行。
一句话概括它的立场：别再把模型的自我汇报当成绩单。
三个要点
- 终态判定把"看起来对"和"确实对"分开了。 文本回答可以自圆其说，数据库不会。一个 Agent 可能描述得头头是道，但账单状态、库存字段、发信记录里全是错的。
- 重复 20 次是在量化不确定性。 单次成功没有说服力——生产事故从来不是"平均表现"，而是尾部那一次。
- 507 个有状态工作流贴近真实业务。 有状态意味着前一步的副作用会改变后一步的输入，这正是 Agent 最容易翻车的地方。
一个值得借鉴的设计细节：把副作用（发出的邮件、调用的外部接口）也纳入判定。很多 Agent 的错误不是结果错，而是多做了一件不该做的事。
对读者的实际建议
- 自建评测从断言终态开始。 不必搭 507 个用例，先挑 10 个你最贵的业务操作，写死"改动前后的期望状态"。
- 把重复次数写进流程。 同一任务跑 5 到 20 次，记录成功率与失败模式，比单次演示可信得多。
- 监控副作用，不只监控结果。 外部调用、写入记录、通知发送都该留痕并纳入比对。
- 能力与稳定性分开报告。 这两项混在一个平均值里，等于把最危险的信息藏起来。
结论：评测方式决定你会优化什么。评测只看回答，团队就会去优化措辞；只有把终态当成绩单，工程投入才会流向正确的地方。
参考来源
- Hugging Face 官方博客（RSS）：huggingface.co/blog
- ThinkingBox-Bench / OpenEnv 项目说明
- 素材索引：AI HOT（aihot.news）