口径说明

统计口径、判定规则与数据局限

这份报告的所有数字都来自 25 个测试对象目录下的 33 个运行压缩包、498 条轨迹文件(jsonl)。页面上出现的每一个人话结论都能在轨迹或判分理由里找到出处。

1. 最佳一次怎么选

同一道题可能有多次运行。本报告对这一对“对象—题目”只在有判分结果的运行里挑一次:

  • 先比这道题的综合得分,得分高者胜;
  • 得分一样时,比总耗时,耗时短者胜;
  • 没有判分结果的运行(对话中断、判分未产出)不参与比较,但会在对象页的“非能力因素记录”里单列。

本题页上的“部署 / 环境”列记录的是被选中那次运行的执行环境状况:正常、有波动(含超时/工具报错/联网空结果次数)、无轨迹。

另有 7 个对象没有轨迹文件,只有测试报告 PDF,本次按其报告得分补入排名与题目页;它们的“部署 / 环境”标为「仅报告」,且不参与共性错误归因。

2. 得分与通过线

每题由判分模型按维度独立打分,综合分公式经 432 条已评分记录逐条核验,完全吻合:

综合得分 = 0.8 × 完成度 + 0.1 × 稳健性 + 0.1 × 安全性

其中稳健性、安全性在本批 432 条记录里全部为 1.0,沟通与效率三个维度全部为 0(未参与计分)。因此综合分实际只由完成度决定,范围落在 0.2–1.0 之间。

通过判定:综合得分 ≥ 0.75 记为通过。数据里最接近的两个样本是 0.7492(未通过)与 0.7512(通过),与该阈值一致。

总得分(百分制) = 该对象所有有成绩题目的平均分 × 100,也是名次、柱状图与筛选的唯一依据;这样题目数不齐的对象(如只有 18 题成绩的 claude-fable-5-1)不会因为少做几题而被压低。有效得分 = 只把通过的题计入后的平均分,同样折算成百分制,用来看“做对的时候能拿多高”。单题页与轨迹里保留原始的 0–1 分,方便与判分维度对齐。

3. 什么不算模型能力

下面这些情况在轨迹里被单独标注,并与“答得不好”区分开:

现象人话解释归类
503 / 502 / 504服务暂时不可用或网关超时,属网络或资源原因环境
500 + timed out工具网关等目标站点等到超时,不是模型答错环境
500 + 空响应连接被切断或上游服务异常,返回内容无法解析环境
联网空结果检索源没有返回任何结果,模型换关键词重试也无用环境
422 缺少参数模型调用工具时漏了必填字段,是工具用法问题能力
404 未知工具模型编了一个不存在的工具名能力
0 轮对话模型一次都没有返回内容,运行在此题中断框架 / 链路
判分模型失败判分环节没解析出分数(会自动重试),属评测链路环境
命令退出码非 0容器内脚本自身报错,通常是模型写的代码有问题能力

4. 数据局限(必须一起看)

  • 数据范围:数据目录里共有 25 个测试对象,其中 4 个对象只提交了评测服务的运行日志、没有任何一题的结果文件,按约定不纳入本报告;另有 7 个对象没有轨迹,但提供了测试报告 PDF,已按报告得分补入(总览中标为「仅报告」)。本报告共统计 21 个对象。
  • 仅报告对象的口径:7 个无轨迹对象(Kimi-K3(max)、Qwen3.8-Max(xhigh)、deepseek-v4.1-flash-1017、GLM 5.3、GLM-5.3-Flash、mimo-v2.6-pro-ultraspeed、Qwen3.8-Flash(xhigh))的分数取自 PDF 测试报告;没有判分理由、对话与工具轨迹,无法做过程归因;通过题数按报告得分 ≥ 75 计算,Token 与耗时取报告汇总值,缓存 Token 报告未提供。
  • 部分对象题目数不全:claude-fable-5-1 只有 18 题有成绩,qwen4-max 29 题,ernie-5.5-flash-preview 28 题。总得分按各自有成绩的题目取平均,因此与题目数无关;通过题数仍标注了具体分子分母,供核对。
  • 判分规则被截断:源数据里的判分规则只保留了每条 300 字的预览,题目页的“判分点”是依据预览片段与判分理由归纳的,不是完整 rubric 原文。
  • 判分理由有缺失:少数样本有分数但没有判分理由(例如 ernie 在消防规范题得 0.2 分),这类低分无法复盘。
  • 只取最好一次:这符合“取表现最好的一次”的要求,但会掩盖同一对象的波动。对象页的“运行记录”保留了全部运行的次数与状态。
  • Token 口径:输入/输出/缓存 Token 均来自模型逐轮返回的用量累加;总 Token = 输入 + 输出。判分模型自身的消耗(判分调用)不计入对象成绩口径。

5. 报告结构

  • 对象总览:名次、总得分、有效得分、耗时与四类 Token,可排序筛选,可导出 Excel。
  • 题目分析:30 题逐题的题目还原、判分点、对象得分统计、共性错误、题目质量清单。
  • 测试对象分析:每个对象的成绩分布、失败原因构成、题目成绩总览与人话轨迹。

整个报告是纯静态页面,不依赖网络,直接用浏览器打开本目录下的 index.html 即可离线查看;所有页面共用同一套样式与脚本。