评测基准、成本真相与“Too Tidy”现象
当大家都在看模型跑分榜时,2026 年的真实工程评测证明:同一个模型换一套 Harness,任务成本可以相差 17.5 倍!
1. 主流 Agent 评测基准测什么?
| 评测集 | 核心考察能力 | 与普通问答评测的区别 |
|---|---|---|
| Terminal Bench | 真实 Linux 终端环境下的命令行排错、脚本构建与系统修复 | 不是吐代码文本,必须在真实容器里把命令跑对并留下预期产物 |
| Toolathlon-Verified | 复杂长链条多工具协同调用与外部服务状态一致性 | 考验 Agent 在几十步工具交互中是否会丢参数或迷失目标 |
| DSBench-FullStack | 端到端全栈软件工程(前端 + 后端 + 数据流 + 测试验收) | 直接衡量从零搭建完整可运行应用的能力 |
| FrontierHarness Eval | 固定底层大模型,只替换不同 Harness 框架做对照实验 | 剥离模型权重影响,专门给 Agent 运行时框架本身打分与算账 |
2. 令人惊讶的“Too Tidy(太爱干净)”丢分现象
真实评测插曲:好习惯却扣了基准分
在独立研究机构对 Terminal Bench 的回放追踪中,开发者发现 DeepSeek Harness 有时会在本来已经解出题目的任务上意外丢分。翻看日志后才哭笑不得地发现:并不是模型没做对,而是 dsh 的内置最佳实践脚本“太讲卫生”了——任务收尾时顺手把测试过程中生成的临时辅助文件清理掉了,而死板的基准评测脚本恰恰要去检查那个临时文件是否存在!
这件事给所有 Agent 开发者敲响了一个重要警钟:生产环境的“良好工程习惯”(如清理临时缓存)和自动评测器的隐含断言有时会打架。这也是 dsh 专门提供剥离冗余行为的 Minimal 模式 来跑标准评测的原因之一。
3. 同模型不同 Harness:为什么成本能差 17.5 倍?
在 FrontierHarness Eval 等对照评估中,即便底层调用完全相同的大模型,不同 Harness 的账单却可能天差地别(最高相差可达 17.5 倍),主要差在 3 个细节:
- Prompt Caching 命中率:好的 Harness 会把工具定义与项目规范死死锁在前缀,多轮循环中大量读取廉价缓存 Token;差的框架每轮都在改前缀,每次都按全价重算。
- 工具输出截断策略:跑一次测试吐出 50,000 字符日志,直接原样喂回模型不仅浪费巨额 Token,还会稀释注意力;优秀 Harness 会先截断或只保留首尾与报错行。
- 无效死循环熔断:当同一条命令连续报错 3 次时及时中止或换策略,而不是傻傻花掉几百万 Token 原地撞墙 40 次。