这份报告的所有数字都来自 25 个测试对象目录下的 33 个运行压缩包、498 条轨迹文件(jsonl)。页面上出现的每一个人话结论都能在轨迹或判分理由里找到出处。
同一道题可能有多次运行。本报告对这一对“对象—题目”只在有判分结果的运行里挑一次:
本题页上的“部署 / 环境”列记录的是被选中那次运行的执行环境状况:正常、有波动(含超时/工具报错/联网空结果次数)、无轨迹。
另有 7 个对象没有轨迹文件,只有测试报告 PDF,本次按其报告得分补入排名与题目页;它们的“部署 / 环境”标为「仅报告」,且不参与共性错误归因。
每题由判分模型按维度独立打分,综合分公式经 432 条已评分记录逐条核验,完全吻合:
其中稳健性、安全性在本批 432 条记录里全部为 1.0,沟通与效率三个维度全部为 0(未参与计分)。因此综合分实际只由完成度决定,范围落在 0.2–1.0 之间。
通过判定:综合得分 ≥ 0.75 记为通过。数据里最接近的两个样本是 0.7492(未通过)与 0.7512(通过),与该阈值一致。
总得分(百分制) = 该对象所有有成绩题目的平均分 × 100,也是名次、柱状图与筛选的唯一依据;这样题目数不齐的对象(如只有 18 题成绩的 claude-fable-5-1)不会因为少做几题而被压低。有效得分 = 只把通过的题计入后的平均分,同样折算成百分制,用来看“做对的时候能拿多高”。单题页与轨迹里保留原始的 0–1 分,方便与判分维度对齐。
下面这些情况在轨迹里被单独标注,并与“答得不好”区分开:
| 现象 | 人话解释 | 归类 |
|---|---|---|
| 503 / 502 / 504 | 服务暂时不可用或网关超时,属网络或资源原因 | 环境 |
| 500 + timed out | 工具网关等目标站点等到超时,不是模型答错 | 环境 |
| 500 + 空响应 | 连接被切断或上游服务异常,返回内容无法解析 | 环境 |
| 联网空结果 | 检索源没有返回任何结果,模型换关键词重试也无用 | 环境 |
| 422 缺少参数 | 模型调用工具时漏了必填字段,是工具用法问题 | 能力 |
| 404 未知工具 | 模型编了一个不存在的工具名 | 能力 |
| 0 轮对话 | 模型一次都没有返回内容,运行在此题中断 | 框架 / 链路 |
| 判分模型失败 | 判分环节没解析出分数(会自动重试),属评测链路 | 环境 |
| 命令退出码非 0 | 容器内脚本自身报错,通常是模型写的代码有问题 | 能力 |