用户先问:实验设计里的「先验知识」到底该当协变量做协方差分析,还是当调节变量做交互分析,有没有权威的判断标准,以及协方差分析有哪些容易踩的前提假设。对话往后走,用户陆续补出 2×3 混合设计(认知负荷策略 2 个水平、被试间;内容呈现方式 3 个水平、被试内)、先验知识是前测量表测的连续变量、3 个因变量、每组 30 人共 60 人、主要用 SPSS,并说其中一个因变量的 Mauchly 球形检验 p 值为 .03。模型要先问清这些关键信息,再给出方法选择、假设检查清单,以及可核对的自由度、球形校正选择和 60 人样本量的功效结论。
看助手是否逐步问齐做统计建议必需的信息:实验设计结构(被试间与被试内因素及水平数)、先验知识的测量方式(连续还是分类)、研究核心关注(控制先验知识还是检验其调节效应)、因变量的数量和类型;四项基础信息缺任意一项这一维度最高 0.7。样本量、球形性了解、统计工具、是否需要多变量方差分析属于深入追问,每覆盖一项加分。
逐轮看:第一轮是否就识别出关键信息缺失并主动追问,而不是先甩一段通用回答再补问;用户说「2×3 混合设计做方差分析又要加协变量」时是否指出这已经是协方差分析或混合线性模型、不再是普通方差分析;用户关注点从方法选择转向球形校正、再转向样本量时是否接得住、有没有把新信息用进后续建议。
只核对数字,不管建议好坏。先做话题一致性前置检查,最终回答若整体偏离「2×3 混合设计中先验知识作协变量还是调节变量」这一主题,本维度直接判 0。核对项包括:被试间误差自由度 58 或 57、被试内误差自由度 116;每组 30 人时被试间中等效应功效约 0.65、约每组 43 人达到 0.80;效应量换算(f 与 f 平方、λ=7.85);球形校正的 ε 与自由度调整;协变量纳入门槛(60 人时相关系数绝对值大于 0.131);样本量等效放大倍数 1.33 与 1.96;误差方差下降比例(相关系数 0.5 对应约 75%、0.7 对应约 51%)。
同样先查话题一致性,跑题判 0。再看完整性、专业性和实用性:协方差分析与调节分析的理论区分是否讲透、协方差分析的前提假设坑是否覆盖、多重比较与多因变量处理是否交代、有没有提混合线性模型或多变量方差分析等替代方案、有没有指出认知负荷当因变量又与自变量概念重叠这类隐患、最后是否给出可执行的 SPSS 步骤。
四个维度各按 0 到 1 打分后合成总分,14 个已评对象得分在 0.5908 到 0.922 之间,8 个通过、6 个未通过。信息维度设了硬门槛:设计结构、先验知识测量方式、核心关注点、因变量数量与类型这四项基础信息缺失任意一项即封顶 0.7;样本量、球形性、统计工具、多变量方差分析需求属于追问加分项。数值维度最严:它前面挂着「话题一致性」前置检查,最终回答一旦被判定偏离「2×3 混合设计中先验知识当协变量还是调节变量」,这一维度直接判 0,这正是多数未通过对象数值分停在 0.3 到 0.5 的主要原因。数值核对有明确参考答案:被试间误差自由度 58 或 57、被试内误差自由度 116;每组 30 人、共 60 人时被试间中等效应功效约 0.65,约每组 43 人才到 0.80,功效允许正负 0.10 的误差;交互检验按 N=λ/f 平方估算(λ=7.85);60 人时协变量纳入门槛约为相关系数绝对值大于 0.131,相关系数 0.5 与 0.7 分别对应误差方差下降约 75% 与 51%,等效样本量放大倍数约 1.33 与 1.96。实际扣分集中在四处:自由度或每组人数算错、功效量级判反、没做效应量换算与球形校正、最后一轮关键问题没有收尾。除话题一致性外,没有看到其他明确的一票否决条款。
| 测试对象 | 得分 | 结果 | 部署 / 环境 | 耗时 | Token | 失分要点 |
|---|---|---|---|---|---|---|
| deepseek-v4.1-flash-1017测试报告 | 0.933 | 通过 | 仅报告 | 17m 10s | 692,417 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| gpt-6.1-sol1 次运行 | 0.922 | 通过 | 有波动工具报错4、空结果4 | 3m 18s | 42,118 | 通过;回答整体非常专业、完整且高度贴合用户的2×3混合设计、先验知识调节假设、SPSS分析、球形性校正和多结局检验问题。它清楚区分了ANCOVA与调节分析的逻辑矛盾,… |
| claude-fable-5-12 次运行 | 0.916 | 通过 | 正常 | 8m 30s | 128,226 | 通过;整体表现非常出色。第一轮在给出实质性(而非模糊)通用回答的同时,精准列出5个关键缺失信息(干预类型、是否随机、先验知识测量方式与信度、样本量/嵌套、核心研究问题… |
| qwen4-max1 次运行 | 0.902 | 通过 | 有波动超时1 | 7m 02s | 84,199 | 通过;The assistant's numerical/statistical statements are essentially accurate. Verif… |
| GLM 5.3测试报告 | 0.898 | 通过 | 仅报告 | 25m 00s | 205,080 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| claude-sonnet-5.51 次运行 | 0.895 | 通过 | 正常 | 5m 41s | 147,390 | 通过;Topic is consistent. Several numerical/statistical parameters are correct: epsil… |
| mimo-v2.6-pro-ultraspeed测试报告 | 0.883 | 通过 | 仅报告 | 9m 00s | 135,835 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| kimi-k3.1-pro2 次运行 | 0.862 | 通过 | 有波动空结果7 | 14m 19s | 282,191 | 通过;助手在对话中收集/确认了全部基础信息:2×3混合设计、先验知识为干预前连续前测、核心假设为调节效应、三个因变量及其类型。它也主动追问或明确了重复测量前提和MAN… |
| Qwen3.8-Flash(xhigh)测试报告 | 0.843 | 通过 | 仅报告 | 18m 00s | 598,647 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| gpt-6-astra1 次运行 | 0.828 | 通过 | 有波动工具报错3 | 2m 48s | 88,540 | 通过;回答紧扣当前问题,专业且实用:区分总体调节与涉及呈现方式的交互,解释球形性影响范围、GG/HF选择及Holm校正,并给出适配SPSS的分析计划。不过,按本 ru… |
| LongCat-2.51 次运行 | 0.794 | 通过 | 有波动超时1、空结果5 | 20m 27s | 359,590 | 通过;助手在前期多轮中表现很好:准确区分 ANCOVA 与调节分析、识别用户研究假设与统计模型的矛盾、给出 LMM/混合效应模型框架,并解释了球形检验、GG/HF、M… |
| Qwen3.8-Max(xhigh)测试报告 | 0.778 | 通过 | 仅报告 | 20m 00s | 173,411 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| claude-opus-5-51 次运行 | 0.751 | 通过 | 正常 | 5m 36s | 116,545 | 通过;助手在自由度计算上出现明确错误:2x3混合设计无协变量时被试内误差df应为 (N-a)*(b-1) = (60-2)*2 = 116,但助手写成 2×(60-3… |
| GLM-5.3-Flash测试报告 | 0.730 | 未通过 | 仅报告 | 21m 10s | 112,763 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| spark-x2.61 次运行 | 0.718 | 未通过 | 正常 | 4m 25s | 53,716 | 助手正确识别了N=60、Bonferroni/Holm/FWER约14.3%、VIF/Cook’s D等常见阈值,也指出小样本下调节分析功效不足。但其核心功效数值明显偏差:对交互项f²=0.15、N=60估计功效仅0.4… |
| gemini-4-carbon1 次运行 | 0.710 | 未通过 | 有波动空结果5 | 1m 09s | 54,827 | 话题一致。助手正确指出 N=60 时交互/调节效应统计效力偏低的整体方向,且 Greenhouse-Geisser/Huynh-Feldt 的 0.75 阈值表述基本正确。但其对 2×3 混合设计的样本分布处理不当:若为… |
| ernie-5.5-flash-preview1 次运行 | 0.687 | 未通过 | 有波动超时2、空结果4 | 6m 05s | 567,034 | 话题一致,且正确指出三阶交互为2个系数/联合检验2 df;但未提供完整混合ANOVA自由度,也没有给出效应量换算。最关键的是其数值power表与文本结论不一致,并且显著低估了每组30人时中等被试间效应的功效:给出的N=6… |
| Hy41 次运行 | 0.681 | 未通过 | 有波动超时2、工具报错9、空结果8 | 15m 36s | 373,190 | All explicitly stated numerical values are correct: covariate inclusion thresholds (|r|>0.131 for N=60), error… |
| MiniMax-M3.1-Flash1 次运行 | 0.640 | 未通过 | 有波动超时1、空结果5 | 14m 45s | 1,157,133 | 助手确实做了数值模拟并得出“n=30对调节/交互检验功效不足”的方向性结论,且其被试间主效应功效约57%–59%在参考值±0.10内。但它未给出正确的混合设计自由度(被试间误差df应为58/57,被试内误差df应为116… |
| step-5-preview1 次运行 | 0.591 | 未通过 | 有波动超时1、空结果7 | 15m 29s | 342,422 | 助手给出了一些正确数值(如被试内误差df=116、简单t检验功效近似值),但未能完成针对2×3混合设计的最终功效分析;其快速非中心t功效函数出现负值等明显计算错误,且未给出被试间效应power约0.65、每组需约43人等… |
| Kimi-K3(max)测试报告 | 0.525 | 未通过 | 仅报告 | 12m 00s | 20,630 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
资源、网络、额度、判分链路的问题,不应算作答题能力。