题目分析 / C22zh_experimental_psychology

实验心理学 C22zh_experimental_psychology

中等平均分 0.623通过 11 / 已评 21
通过率
52.4%
11 / 21 个已评对象
平均分
0.623
最高 0.863 · 最低 0.214
题目类型
中文题
多轮对话 + 工具调用
题目质量提示
3 条
见本页末尾

1. 这道题是什么

用户是备考考研(312 统考)的学生,拿朱滢《实验心理学》的例题用查表法算信号检测论的辨别力 d′,自己得出 1.80,书上答案是 1.87,于是怀疑是不是标准正态分布表版本不一样,或者某些教材把公式做了简化。模型需要先弄清用户的具体数据(击中率、虚报率、自己算的 d′、答案的 d′、所用公式),判断这零点几的差距到底出在哪,并去查最新版教材勘误里有没有相关说明。真实情况是:击中率 0.85、虚报率 0.20 对应 d′≈1.878(四舍五入 1.88),1.80 是用户自己最后一步加减出错,教材的 1.87 只是查表取位(截断)差异,既不是表版本问题也不是公式被简化。

用户原话(题目开场)

朱滢那本实验心理学里信号检测论的d'计算,我用查表法算z值代进去结果跟答案差了零点几,是不是现在考研用的那个标准正态分布表版本不一样啊?还是说有些书用的公式本身就有简化?帮我查查最新版教材勘误里有没有提到这个

题目要求

  • 解释为什么用查表法算出的 d′ 与教材答案差了零点几,明确回答是正态分布表版本不同、公式被简化,还是用户自己算错。
  • 帮用户查最新版《实验心理学》教材的勘误,看有没有提到这个 d′ 计算问题。
  • 结论必须落在用户的具体数值上:击中率 0.85、虚报率 0.20,用户自算 1.80、答案 1.87,查表得 z 值 1.04 与 −0.84,三者要能互相对上。
  • 先补齐关键信息再下判断,包括用户所用的 d′ 公式、查的是哪种正态分布表、取到几位小数,以及 1.80 具体是怎么算出来的。
  • 面向考研复习给可执行的建议:考试时该用查表值还是精确值、相差多少算在正常范围、是否要一并给出判断标准。

要求的交付物

  • 对差异来源的明确归因(表版本/公式简化/自身计算错误),并给出正确的 d′ 数值 1.8781,四舍五入为 1.88。
  • 对用户 1.80 这个结果的具体错误定位和正确代入算式(1.04 减负 0.84 等于 1.88)。
  • 教材勘误的查证结果:查到什么就说什么,查不到要如实说明并给出可继续核对的途径。
  • 考研场景下的取位与验算建议,包含 β(约 0.8609)与 c(约 −0.0974)等判断标准。

2. 判分点与判分细节

对话中的信息收集质量

既看第一轮提问也看整场对话:是否问到并拿齐四项基础信息——具体的击中率与虚报率、用户自己算出的 d′、答案给的 d′、用户使用的 d′ 公式(缺任意一项该维度不超过 0.7 分);进一步追问 z 值、查的是哪种正态分布表、查表精度与插值方式、同学用计算器算出的结果,可逐项加分。

对用户意图的理解与响应

逐轮审视:是否在早期就察觉用户没给数值、没给 z 值并主动追问;是否发现用户说的 1.80 与他给出的 1.04 和 −0.84 应得 1.88 之间的矛盾,并追问 1.80 的真实来历,而不是顺着“表版本不同”的猜测往下答。

数值计算与统计参数准确性

分五档评分,d′ 的精确度占该项一半权重:给出 1.87~1.89 为满分档,1.85~1.90 为 0.7 档,落在 1.80 附近的一档只有 0.4 分;同时要指出用户 1.80 与正确值 1.88 差 0.08 是用户自己算错,并给出 β≈0.8609、c≈−0.0974,缺 β、c 该分项记 0。

内容质量与主题一致性

先做主题前置检查:最终回答若完全偏离“d′ 计算、查表精度差异、教材勘误”,内容质量直接判 0;在主题内则看完整性、专业性与实用性,是否讲清差异来源、给出查表与验算建议、并交代勘误查证的结论。

勘误查证的诚实性

没有查到教材勘误时是否如实说明“未找到”,是否给出可继续核对的线索(版次、页码、出版社渠道),而不是编造勘误条目或把差异笼统推给“表版本不同”。

判分细节

本题按四个维度独立打分,各 0 至 1 分:对话中的信息收集质量、对用户意图的理解与响应、数值计算与统计参数准确性、回答内容质量。信息收集维度设硬门槛:击中率与虚报率、用户自算的 d′、答案的 d′、用户所用公式四项基础信息缺任意一项,该维度封顶 0.7 分;追问出 z 值、表类型、精度插值、同学计算器结果属于加分项。数值维度按五档计,d′ 精度占一半权重,1.87~1.89 拿满,1.85~1.90 拿 0.7 档,只在 1.80 附近则落到 0.4 档;未给 β 与 c 时该分项记 0。内容质量有一个前置一票否决:最终回答若完全跑离“d′ 计算、查表精度、教材勘误”这一主题,内容质量直接判 0 分。判分所依据的参考值为 z(0.85)=1.0364、z(0.20)=−0.8416、d′=1.8781≈1.88、β=0.8609、c=−0.0974,用户声称的 1.80 与正确值差 0.08,即判定为用户查表或计算过程有误。

机制说明:每题由判分模型按多个维度独立打分(完成度、稳健性、安全性等),综合分 = 0.8 × 完成度 + 0.1 × 稳健性 + 0.1 × 安全性;本批数据里稳健性与安全性恒为 1.0,因此综合分只剩完成度一个变量。综合分 ≥ 0.75 记为通过。源数据只保留了判分规则的 300 字预览。

3. 各测试对象得分统计

得分、结果、部署、耗时、Token 五个维度;按得分从高到低
测试对象得分结果部署 / 环境耗时Token失分要点
GLM-5.3-Flash测试报告0.863通过仅报告12m 00s172,173得分来自测试报告;没有轨迹与判分理由,无法复盘过程
claude-opus-5-51 次运行0.844通过有波动用法错误3、空结果31m 29s75,092通过;助手在第一轮中要求用户提供题目数据、查到的Z值、自己的结果和答案,但未询问用户具体使用的d'计算公式。用户随后提供了击中率、虚报率、自己的d'结果、答案结果及查…
kimi-k3.1-pro2 次运行0.842通过有波动空结果113m 24s96,624通过;回答始终围绕 d′ 计算与教材勘误展开,完成了精确值与查表值的比较,明确发现并指出“1.04−(−0.84)=1.88”与用户所得1.80之间的矛盾,也如实说明…
claude-fable-5-12 次运行0.785通过有波动空结果52m 37s70,391通过;助手第一轮就明确要求用户提供击中率/虚报率、自己算出的d'与书上答案、以及查表得到的两个z值(最关键的深入信息),并追问版本页码;用户补充数据后,助手给出精确计…
GLM 5.3测试报告0.785通过仅报告11m 54s637,397得分来自测试报告;没有轨迹与判分理由,无法复盘过程
Hy41 次运行0.773通过有波动工具报错5、空结果1013m 25s643,674通过;助手整体跟踪了用户需求:既回应了查勘误的要求,也在获得 H/FA、答案和草稿 z 值后逐步定位差异,第三轮准确发现 1.04-(-0.84)=1.88 与用户声…
qwen4-max1 次运行0.773通过有波动空结果53m 09s63,480通过;主题高度一致,核心决策链完成度高。Step 1:用精确z值算出d'=1.8781,并对比了查表值(1.88/1.87)与精确值的差异,但未给出β或c(判断标准)…
deepseek-v4.1-flash-1017测试报告0.768通过仅报告8m 40s300,419得分来自测试报告;没有轨迹与判分理由,无法复盘过程
Qwen3.8-Max(xhigh)测试报告0.763通过仅报告14m 10s277,696得分来自测试报告;没有轨迹与判分理由,无法复盘过程
gpt-6-astra1 次运行0.756通过有波动空结果544s26,925通过;回答紧扣主题,发现了用户所报z值与d′结果不自洽,展示了查表值和精确值的计算对照,并将教材答案差异谨慎归因于截断、近似或笔误等可能性;此前也实际搜索了勘误并如实…
gpt-6.1-sol1 次运行0.754通过有波动空结果51m 07s33,764通过;回答紧扣信号检测论 d' 计算主题,确实检索了朱滢教材勘误并如实说明未找到可核验信息;完成了精确 z 值下 d'≈1.878 的计算,解释查表口径和舍入问题,并…
claude-sonnet-5.51 次运行0.739未通过有波动空结果41m 05s58,139回答整体紧扣主题,完成了精确d'计算并对比查表与精确值,且如实说明未查到勘误;最重要的是发现了用户提供的z值应得1.88而非1.80这一矛盾,并给出了可能的计算错误来源。扣分点在于未补充β或c等SDT判断标准,未提供明确…
spark-x2.61 次运行0.730未通过有波动空结果184m 45s160,818助手逐步收集了击中率/虚报率、用户计算结果与教材答案,并追问了具体z值和正态分布表类型等深入信息;但始终未明确询问用户使用的d'计算公式,基础信息有一项缺失,因此按规则不超过0.7。
mimo-v2.6-pro-ultraspeed测试报告0.649未通过仅报告5m 10s284,271得分来自测试报告;没有轨迹与判分理由,无法复盘过程
gemini-4-carbon1 次运行0.631未通过有波动空结果537s50,464助手能识别首轮信息缺失并要求具体数据,也确实搜索了勘误,但多次搜索无结果且未充分整合。计算上发现scipy失败后修正成功,属次优。关键问题是虽然指出1.04-(-0.84)=1.88而非1.80的矛盾,但没有追问用户如何…
Kimi-K3(max)测试报告0.396未通过仅报告14m 20s209,686得分来自测试报告;没有轨迹与判分理由,无法复盘过程
step-5-preview1 次运行0.308未通过有波动超时8、工具报错6、空结果810m 33s416,566助手未针对用户给出的 H=0.85、FA=0.20 计算 d',没有给出接近 1.88 的结果;也未发现用户算出 1.80 的错误;更没有计算 β 和 c,因此按数值准确性与核心要求均为 0。
LongCat-2.51 次运行0.244未通过有波动超时2、工具报错1、空结果57m 50s696,053助手最终未给出任何d'数值计算,也未纠正用户计算错误,更没有计算β和c,因此按数值准确性评分为0。
Qwen3.8-Flash(xhigh)测试报告0.244未通过仅报告9m 30s822,642得分来自测试报告;没有轨迹与判分理由,无法复盘过程
MiniMax-M3.1-Flash1 次运行0.224未通过有波动超时1、工具报错2、空结果73m 01s434,680The assistant never completed any numerical calculations. It spent the entire conversation searching for errat…
ernie-5.5-flash-preview1 次运行0.214未通过有波动空结果61m 11s115,255
表中标注「仅报告」的 7 个对象(GLM-5.3-Flash、GLM 5.3、deepseek-v4.1-flash-1017、Qwen3.8-Max(xhigh)、mimo-v2.6-pro-ultraspeed、Kimi-K3(max)、Qwen3.8-Flash(xhigh))没有轨迹文件,得分、耗时、Token 取自各自的测试报告 PDF,没有判分理由与过程信息,因此不参与下面的共性错误归因。

4. 多对象出错统计

共性错误按影响对象数排序,特例单列
能力
整场没有交出最终回答,也没做任何 d′ 数值验算 3 个对象
涉及对象:LongCat-2.5、MiniMax-M3.1-Flash、step-5-preview
原因:把“查教材勘误”当成主线任务,检索连续空结果后仍不切换到直接代入验算,轮数顶到 25 轮就结束;判分理由明确写“未向用户给出任何最终解释、计算、勘误查询结果或建议”,三者在 7 个未通过对象中分数最低(0.244、0.224、0.308)。
环境
联网查勘误连续空结果后仍反复重试,时间耗在检索而非计算上 5 个对象
涉及对象:LongCat-2.5、MiniMax-M3.1-Flash、step-5-preview、spark-x2.6、kimi-k3.1-pro
原因:本轮检索源持续返回空结果(各对象从 5 次到 12~18 次不等),模型不断换搜索引擎和站点重试;spark-x2.6 空检索最多、耗到 285 秒 15 轮,kimi-k3.1-pro 空检索 11 次、耗 203.61 秒,属于环境导致的无效消耗,也放大了未收束到结论的风险。
能力
漏掉信号检测论的另一组必答参数 β 与 c(判断标准) 2 个对象
涉及对象:claude-sonnet-5.5、gemini-4-carbon
原因:只回答了 d′ 和查表差异,没有延伸到判断标准;按规则缺 β、c 该项直接记 0,成为 claude-sonnet-5.5 卡在 0.7392、gemini-4-carbon 只有 0.6306 的主要扣分点。
能力
关键信息没问全就下结论,尤其没问用户 1.80 是怎么算出来的 2 个对象
涉及对象:spark-x2.6、gemini-4-carbon
原因:spark-x2.6 始终没问用户使用的 d′ 公式,被判分规则封顶 0.7;gemini-4-carbon 虽然点出 1.04 减负 0.84 应得 1.88,却没有追问用户如何得出 1.80,矛盾排查做到一半就停下。

特例

claude-sonnet-5.5
得分 0.7392,距通过线只差约 0.01 却记为未通过。判分理由明确肯定它算对了 1.878/1.88,也正确判断出问题出在加减或符号而非表版本,扣分只在没给 β、c 和拓展知识,是典型的“主问题答对、附加项没做”的边缘案例,说明通过线附近非常敏感。
Hy4
环境最糟的一个:联网空结果 10 次、工具报错 5 次(含目标站点 HTTP 500 两次),用了 20 轮、804.53 秒、约 64.4 万 tokens,仍以 0.7732 通过。它的最终回答用“精确值/同学计算器/书后表值/书上答案/用户誊写”五行对照表,把误差唯一地定位到用户那一行,副作用是把简单问题拖成了长耗时任务。
ernie-5.5-flash-preview
得分 0.214 未通过,但判分理由一栏完全为空,数据里只能看到 11 轮、6 次空检索、最终回答为空,具体失分构成无法核实,属于记录缺失而非可解释的低分。

非能力因素记录(本题被选中的那次运行)

资源、网络、额度、判分链路的问题,不应算作答题能力。

Hy4
工具报错 5 次;联网检索空结果 10 次
LongCat-2.5
工具等待超时 2 次;工具报错 1 次;联网检索空结果 5 次
MiniMax-M3.1-Flash
工具等待超时 1 次;工具报错 2 次;联网检索空结果 7 次
claude-fable-5-1
联网检索空结果 5 次
claude-opus-5-5
工具参数用错 3 次;联网检索空结果 3 次
claude-sonnet-5.5
联网检索空结果 4 次
ernie-5.5-flash-preview
联网检索空结果 6 次
gemini-4-carbon
联网检索空结果 5 次
gpt-6-astra
联网检索空结果 5 次
gpt-6.1-sol
联网检索空结果 5 次
kimi-k3.1-pro
联网检索空结果 11 次
qwen4-max
联网检索空结果 5 次
spark-x2.6
联网检索空结果 18 次
step-5-preview
工具等待超时 8 次;工具报错 6 次;联网检索空结果 8 次
归因:总体归因:低分约 60% 来自测试对象自身能力,约 25% 来自环境,约 15% 来自题目与判分材料。依据是 7 个未通过对象里,LongCat-2.5、MiniMax-M3.1-Flash、step-5-preview(0.244/0.224/0.308)整场没交出最终回答和 d′ 验算,属交付失败;claude-sonnet-5.5(0.7392)、gemini-4-carbon(0.6306)、spark-x2.6(0.73)主要栽在漏算 β、c 和没问全信息,都是可训练的能力项。环境因素同样明显:14 个已评对象无一例外都出现过空的联网检索,Hy4 为此花到 804.53 秒、20 轮。题目侧则叠了两层不确定性——勘误查证依赖实时网络,且 25 个对象中有 11 个没有轨迹、判分规则文本被截断。

5. 题目质量问题

只有数据里真有证据才列入
高
题目要求查“最新版教材勘误”,但这一子任务在本轮环境下事实上无法完成,却仍按是否完成扣分
证据:14 个已评对象全部出现过“联网检索没抓到任何结果”(最少 3 次,最多 12~18 次),多条判分理由写“搜索了教材勘误但未找到具体信息”“未查到勘误”并据此扣分;这类一手勘误本就极少上网。
建议:把勘误查证改成“说明该去哪些渠道核对、查不到时给出可验证的路径”,或在题面直接附上教材附录页与勘误离线材料。
中
判分规则文本被截断在 300 字,深入信息加分项和低分档阈值看不全
证据:四条判分规则都在句子中间断开,例如“同学用计”“是否发现了这个矛盾并追问用户到底是怎么”“给出 d′ 在 1.80”,导致深入信息的具体加分项和 0.4 档以下的判分标准在数据中缺失。
建议:报告改用完整判分卡,至少补齐每条规则的结尾与各档阈值,否则无法复核判分一致性。
低
错误次数与部署备注自相矛盾,同一对象两处口径不一致
证据:Hy4 备注写“工具报错 5 次”,错误明细只有 HTTP 500 共 2 次;spark-x2.6 备注写“联网空结果 18 次”,明细记 12 次;step-5-preview 备注写“工具超时 8 次”,明细只有 1 次。
建议:统一错误统计口径,报告只引用一个来源并注明是备注口径还是明细口径。
一句话结论:这道题真正考的不是查表,而是能不能发现“1.04 减负 0.84 应得 1.88 却写成 1.80”这处矛盾并完成验算:14 个可评分对象中 7 个通过(最高 0.8436),凡是算出 d′≈1.88、指出 1.80 是自身加减错误的都能过,卡住的多数连最终回答都没交出来。
← 返回题目分析总览