用户是备考考研(312 统考)的学生,拿朱滢《实验心理学》的例题用查表法算信号检测论的辨别力 d′,自己得出 1.80,书上答案是 1.87,于是怀疑是不是标准正态分布表版本不一样,或者某些教材把公式做了简化。模型需要先弄清用户的具体数据(击中率、虚报率、自己算的 d′、答案的 d′、所用公式),判断这零点几的差距到底出在哪,并去查最新版教材勘误里有没有相关说明。真实情况是:击中率 0.85、虚报率 0.20 对应 d′≈1.878(四舍五入 1.88),1.80 是用户自己最后一步加减出错,教材的 1.87 只是查表取位(截断)差异,既不是表版本问题也不是公式被简化。
既看第一轮提问也看整场对话:是否问到并拿齐四项基础信息——具体的击中率与虚报率、用户自己算出的 d′、答案给的 d′、用户使用的 d′ 公式(缺任意一项该维度不超过 0.7 分);进一步追问 z 值、查的是哪种正态分布表、查表精度与插值方式、同学用计算器算出的结果,可逐项加分。
逐轮审视:是否在早期就察觉用户没给数值、没给 z 值并主动追问;是否发现用户说的 1.80 与他给出的 1.04 和 −0.84 应得 1.88 之间的矛盾,并追问 1.80 的真实来历,而不是顺着“表版本不同”的猜测往下答。
分五档评分,d′ 的精确度占该项一半权重:给出 1.87~1.89 为满分档,1.85~1.90 为 0.7 档,落在 1.80 附近的一档只有 0.4 分;同时要指出用户 1.80 与正确值 1.88 差 0.08 是用户自己算错,并给出 β≈0.8609、c≈−0.0974,缺 β、c 该分项记 0。
先做主题前置检查:最终回答若完全偏离“d′ 计算、查表精度差异、教材勘误”,内容质量直接判 0;在主题内则看完整性、专业性与实用性,是否讲清差异来源、给出查表与验算建议、并交代勘误查证的结论。
没有查到教材勘误时是否如实说明“未找到”,是否给出可继续核对的线索(版次、页码、出版社渠道),而不是编造勘误条目或把差异笼统推给“表版本不同”。
本题按四个维度独立打分,各 0 至 1 分:对话中的信息收集质量、对用户意图的理解与响应、数值计算与统计参数准确性、回答内容质量。信息收集维度设硬门槛:击中率与虚报率、用户自算的 d′、答案的 d′、用户所用公式四项基础信息缺任意一项,该维度封顶 0.7 分;追问出 z 值、表类型、精度插值、同学计算器结果属于加分项。数值维度按五档计,d′ 精度占一半权重,1.87~1.89 拿满,1.85~1.90 拿 0.7 档,只在 1.80 附近则落到 0.4 档;未给 β 与 c 时该分项记 0。内容质量有一个前置一票否决:最终回答若完全跑离“d′ 计算、查表精度、教材勘误”这一主题,内容质量直接判 0 分。判分所依据的参考值为 z(0.85)=1.0364、z(0.20)=−0.8416、d′=1.8781≈1.88、β=0.8609、c=−0.0974,用户声称的 1.80 与正确值差 0.08,即判定为用户查表或计算过程有误。
| 测试对象 | 得分 | 结果 | 部署 / 环境 | 耗时 | Token | 失分要点 |
|---|---|---|---|---|---|---|
| GLM-5.3-Flash测试报告 | 0.863 | 通过 | 仅报告 | 12m 00s | 172,173 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| claude-opus-5-51 次运行 | 0.844 | 通过 | 有波动用法错误3、空结果3 | 1m 29s | 75,092 | 通过;助手在第一轮中要求用户提供题目数据、查到的Z值、自己的结果和答案,但未询问用户具体使用的d'计算公式。用户随后提供了击中率、虚报率、自己的d'结果、答案结果及查… |
| kimi-k3.1-pro2 次运行 | 0.842 | 通过 | 有波动空结果11 | 3m 24s | 96,624 | 通过;回答始终围绕 d′ 计算与教材勘误展开,完成了精确值与查表值的比较,明确发现并指出“1.04−(−0.84)=1.88”与用户所得1.80之间的矛盾,也如实说明… |
| claude-fable-5-12 次运行 | 0.785 | 通过 | 有波动空结果5 | 2m 37s | 70,391 | 通过;助手第一轮就明确要求用户提供击中率/虚报率、自己算出的d'与书上答案、以及查表得到的两个z值(最关键的深入信息),并追问版本页码;用户补充数据后,助手给出精确计… |
| GLM 5.3测试报告 | 0.785 | 通过 | 仅报告 | 11m 54s | 637,397 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| Hy41 次运行 | 0.773 | 通过 | 有波动工具报错5、空结果10 | 13m 25s | 643,674 | 通过;助手整体跟踪了用户需求:既回应了查勘误的要求,也在获得 H/FA、答案和草稿 z 值后逐步定位差异,第三轮准确发现 1.04-(-0.84)=1.88 与用户声… |
| qwen4-max1 次运行 | 0.773 | 通过 | 有波动空结果5 | 3m 09s | 63,480 | 通过;主题高度一致,核心决策链完成度高。Step 1:用精确z值算出d'=1.8781,并对比了查表值(1.88/1.87)与精确值的差异,但未给出β或c(判断标准)… |
| deepseek-v4.1-flash-1017测试报告 | 0.768 | 通过 | 仅报告 | 8m 40s | 300,419 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| Qwen3.8-Max(xhigh)测试报告 | 0.763 | 通过 | 仅报告 | 14m 10s | 277,696 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| gpt-6-astra1 次运行 | 0.756 | 通过 | 有波动空结果5 | 44s | 26,925 | 通过;回答紧扣主题,发现了用户所报z值与d′结果不自洽,展示了查表值和精确值的计算对照,并将教材答案差异谨慎归因于截断、近似或笔误等可能性;此前也实际搜索了勘误并如实… |
| gpt-6.1-sol1 次运行 | 0.754 | 通过 | 有波动空结果5 | 1m 07s | 33,764 | 通过;回答紧扣信号检测论 d' 计算主题,确实检索了朱滢教材勘误并如实说明未找到可核验信息;完成了精确 z 值下 d'≈1.878 的计算,解释查表口径和舍入问题,并… |
| claude-sonnet-5.51 次运行 | 0.739 | 未通过 | 有波动空结果4 | 1m 05s | 58,139 | 回答整体紧扣主题,完成了精确d'计算并对比查表与精确值,且如实说明未查到勘误;最重要的是发现了用户提供的z值应得1.88而非1.80这一矛盾,并给出了可能的计算错误来源。扣分点在于未补充β或c等SDT判断标准,未提供明确… |
| spark-x2.61 次运行 | 0.730 | 未通过 | 有波动空结果18 | 4m 45s | 160,818 | 助手逐步收集了击中率/虚报率、用户计算结果与教材答案,并追问了具体z值和正态分布表类型等深入信息;但始终未明确询问用户使用的d'计算公式,基础信息有一项缺失,因此按规则不超过0.7。 |
| mimo-v2.6-pro-ultraspeed测试报告 | 0.649 | 未通过 | 仅报告 | 5m 10s | 284,271 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| gemini-4-carbon1 次运行 | 0.631 | 未通过 | 有波动空结果5 | 37s | 50,464 | 助手能识别首轮信息缺失并要求具体数据,也确实搜索了勘误,但多次搜索无结果且未充分整合。计算上发现scipy失败后修正成功,属次优。关键问题是虽然指出1.04-(-0.84)=1.88而非1.80的矛盾,但没有追问用户如何… |
| Kimi-K3(max)测试报告 | 0.396 | 未通过 | 仅报告 | 14m 20s | 209,686 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| step-5-preview1 次运行 | 0.308 | 未通过 | 有波动超时8、工具报错6、空结果8 | 10m 33s | 416,566 | 助手未针对用户给出的 H=0.85、FA=0.20 计算 d',没有给出接近 1.88 的结果;也未发现用户算出 1.80 的错误;更没有计算 β 和 c,因此按数值准确性与核心要求均为 0。 |
| LongCat-2.51 次运行 | 0.244 | 未通过 | 有波动超时2、工具报错1、空结果5 | 7m 50s | 696,053 | 助手最终未给出任何d'数值计算,也未纠正用户计算错误,更没有计算β和c,因此按数值准确性评分为0。 |
| Qwen3.8-Flash(xhigh)测试报告 | 0.244 | 未通过 | 仅报告 | 9m 30s | 822,642 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| MiniMax-M3.1-Flash1 次运行 | 0.224 | 未通过 | 有波动超时1、工具报错2、空结果7 | 3m 01s | 434,680 | The assistant never completed any numerical calculations. It spent the entire conversation searching for errat… |
| ernie-5.5-flash-preview1 次运行 | 0.214 | 未通过 | 有波动空结果6 | 1m 11s | 115,255 |
资源、网络、额度、判分链路的问题,不应算作答题能力。