题目分析

30 道题:考什么、怎么判、错在哪

每题给出题面还原、要求与交付物、判分点与判分细节、所有测试对象的得分统计、多对象共性错误与特例,以及题目本身质量问题的清单。

题目总数
30
中文 22 题 · 英文 8 题
平均单题通过率
57.8%
按已评分对象计算
最难题目
个人理财
3/21 通过
最易题目
数据排查
19/21 通过

难度谱

按通过率排序,条形为通过率;点击题名进入单题页
#题目↕通过 / 已评↕通过率↕平均分↕主要失分原因题目问题
1个人理财C05zh_personal_finance_23 / 21
14.3%
0.624把最新五年期LPR引用成3.50%、执行利率算成4.05%,导致重定价后到底省多少这个主结论直接算错,甚至得…3 条
2金融估值C07zh_financial_valuation3 / 20
15.0%
0.609折现率停在 15% 或更低,没有按 B 轮未盈利医疗器械项目上调到合理区间3 条
3消防规范C24zh_fire_safety_code4 / 21
19.0%
0.501完全没有做数值核算,只引条文、讲法律后果和整改建议,被数值维度直接记零4 条
4电商运营C12zh_ecommerce_operations5 / 20
25.0%
0.513只检索不结论:全程反复搜索,始终没向用户输出一句话的答复4 条
5公共卫生C26zh_public_health5 / 20
25.0%
0.465陷在检索里出不来,最后一轮还在调工具,始终没交付成型的回答3 条
6 Seismic Facade DesignC15en_structural_seismic_design6 / 20
30.0%
0.550全程在做检索和澄清,始终没落到任何数值计算,规定的抗震力、支座反力、层间位移一个都没给3 条
7工程造价C25zh_construction_cost8 / 20
40.0%
0.570整场对话都在检索,始终没有给出最终结论,既无综合单价也无总造价3 条
8房地产金融C03en_real_estate_finance9 / 20
45.0%
0.574反复检索却始终不给最终结论,把中间进展当成交付4 条
9AI视频创作C09zh_ai_video_creation9 / 20
45.0%
0.677积分消耗与成本账缺失或算错,没能回答 625 积分到底够不够这批素材3 条
10DevOps SOP DesignC17en_devops_sop_design10 / 21
47.6%
0.694没有主动问清组织层面的基础参数(痛点、期望交付格式、受影响团队与角色职责、升级路径),信息收集一项被压到 0…3 条
11Statistical Analysis SPSSC18en_statistical_analysis_spss11 / 21
52.4%
0.751把输出里的句点当成货真价实的“设计矩阵奇异”,用异方差、高相关或样本量小去解释,没识别出那是无法估计的项或某…2 条
12实验心理学C22zh_experimental_psychology11 / 21
52.4%
0.623整场没有交出最终回答,也没做任何 d′ 数值验算3 条
13精神卫生社工C20zh_mental_health_social_work10 / 19
52.6%
0.657一轮接一轮检索都是空结果,始终核不到官方规范原文3 条
14个人理财C08zh_personal_finance_311 / 20
55.0%
0.668陷入反复检索、始终没有给出最终回答,整轮对话停在工具调用上3 条
15容器编排C11zh_container_orchestration11 / 20
55.0%
0.745最终没有交出完整可直接运行的配置文件,只有语法片段、带省略号的示例,或末轮只做了环境检查就结束3 条
16心理统计C13zh_psychology_statistics13 / 21
61.9%
0.785把混合设计里的被试内水平当成独立被试,自由度和每组人数算错:说成 6 个单元格每组 10 个独立被试,或把模…4 条
17临床药学C06zh_clinical_pharmacy14 / 21
66.7%
0.807没有把每种药的精确剂量和用药频率问全,培哚普利、华法林、螺内酯、呋塞米常有一两项停留在“知道在用、不知道多少…2 条
18劳动法务C10zh_labor_law14 / 21
66.7%
0.749没有给出任何具体可比的类似案例,只留下检索线索或检索建议3 条
19跨境合规C14zh_cross_border_compliance13 / 19
68.4%
0.797罚款上限只笼统抄“最高 2000 万欧元或全球营收 4%”,没把 8500 万欧元代进去算出 4% 约 34…4 条
20数据自动化C27zh_data_automation15 / 21
71.4%
0.770只交实现思路或伪代码,没有可运行脚本和非技术人员的安装说明2 条
21编程C04zh_image_processing14 / 19
73.7%
0.786第一轮没有追问数量、期限、技术栈这些关键约束,直接铺开通用方案3 条
22学术写作C23zh_academic_writing16 / 21
76.2%
0.838方法局限写不全:没谈语义模型对非英语文献的适用性与排除中文论文的影响,也没交代时间衰减半衰期的参数依据和结论…3 条
23儿童用药C29zh_pediatric_medication16 / 21
76.2%
0.856对「19个月只有8公斤」这一明显偏低的体重毫无反应,直接拿8公斤算剂量,既不追问是否量准,也不提醒关注生长发…3 条
24HR Workforce PlanningC16en_hr_workforce_planning17 / 21
81.0%
0.842只交出框架、表格模板和占位符,没有算出任何一个情景数字3 条
25B Testing Sample SizeC19en_ab_testing_sample_size17 / 21
81.0%
0.778样本量计算公式选择偏离参考口径,结果比基准高出约 7.5%,落到容差带外3 条
26房贷提前还款咨询C01zh_mortgage_prepay18 / 21
85.7%
0.837按「原利率4.95%、月供8000一路还了60期」顺推剩余本金,算出约137万,与判分基准的约133万差4万…4 条
27个人理财C02zh_personal_finance18 / 21
85.7%
0.831检索工具连续返回空结果,最终只能靠记忆里的 LPR 数据作答4 条
28分布式系统C28zh_distributed_systems18 / 21
85.7%
0.868联网检索反复返回空结果,只能靠重试和换检索词硬扛3 条
29电商数据分析C21zh_ecommerce_data_analysis19 / 21
90.5%
0.835想查平台退款规则却撞上联网检索连续空结果,白白消耗轮次和时间3 条
30数据排查C30zh_data_troubleshooting19 / 21
90.5%
0.909联网检索连续返回空结果,多轮时间花在无效搜索上2 条

非能力因素汇总

全部 708 条运行里的环境与链路事件,这些不应算作答题能力
未判分的运行
66
对话跑完但判分没产出
0 轮对话
245
模型一次都没返回,运行中断
联网空结果
339
检索源不返回内容
工具超时 / 报错
90 / 178
500、502、503、504 与 timed out
判分调用失败
24
判分模型重试后补分

读这张表要注意三件事:一,联网空结果几乎每题都有(339 条运行命中),说明评测环境的检索源长期不可用,很多“查不到资料”的失败其实是环境问题;二,0 轮对话是模型接口没返回,不是模型答错;三,工具参数缺失(13 条)与不存在的工具名才是模型自己用错工具。本表统计的是全部运行(含未选中、未判分的),仅用于说明环境噪声,不参与排名。

测试对象运行数未判分0 轮超时工具报错工具用法错空结果判分失败达轮次上限
claude-opus-5-5300025916152
claude-sonnet-5.530003931904
qwen4-max30106802413
claude-fable-5-16240253602240
gpt-6.1-sol300021002110
mimo-v2.6-pro-ultraspeed30030000000
gpt-6-astra30001902100
Qwen3.8-Flash(xhigh)30030000000
deepseek-v4.1-flash-101730030000000
spark-x2.6300041102103
kimi-k3.1-pro72198202604821
GLM 5.330030000000
GLM-5.3-Flash30030000000
Qwen3.8-Max(xhigh)30030000000
gemini-4-carbon30000102100
LongCat-2.53000101802401
step-5-preview300091612301
Hy4344282102800
MiniMax-M3.1-Flash3000152002601
ernie-5.5-flash-preview302071802513
Kimi-K3(max)30030000000

题目质量清单

跨 30 题汇总,共 93 条,按严重程度排序
严重度题目问题数据证据建议
高房贷提前还款咨询判分基准给的剩余本金约133万,与题面条件能推出来的约137万对不上,导致按题面老实算的对象反而偏离基准规则背景写剩余本金约133万左右,而7个对象分别算出约137万、137.6万、137.7万;这7个全部仍判通过,说明这4万的差距目前靠人为宽容消化,而不是规则说清。要么把基准改成按题面可复现的约137万,要么在规则里写明剩余本金在133万至138万之间均视为正确,并注明差额来自历次降息重算。
高个人理财题目要求核实 LPR、银行违约金政策等外部事实,但环境联网检索全程为空14 个已判分对象中 13 个出现「联网检索没抓到任何结果」,最多的记了 12 次;gpt-6-astra、gpt-6.1-sol 在空检索情况下仍给出了带链接的 LPR 数据,来源是否核实已无法验证。随题预置离线资料包(当期 LPR 公告、招行提前还款政策摘要),或明确告知「本轮无法联网」,只按口径与逻辑判分,不要求给出来源链接。
高房地产金融任务范围与轮次预算不匹配:一次对话里既要市场判断和机构最新预测,又要本地数据、完整现金流折现、债务测算和多组情景压力测试13个已判分对象中有9个用满25轮(Hy4、LongCat-2.5、MiniMax-M3.1-Flash、claude-opus-5-5、claude-sonnet-5.5、ernie-5.5-flash-preview、kimi-k3.1-pro、qwen4-max、step-5-preview),其中4个因此没有走到最终答案把题目拆成“租金假设判断”和“交易测算”两关,或在题面写明轮次预算与必须完成的最低交付项
高房地产金融题目高度依赖实时联网数据,却没有规定检索失败时的兜底口径13个已判分对象无一例外都出现“联网检索没抓到任何结果”,kimi-k3.1-pro 达10次、spark-x2.6 达11次,另有大量403与404在题面附一份固定的市场数据快照,或明确“检索不到就用给定基准数据作答”,把考察点从能否联网转到能否推理
高编程判分规则硬性要求交付 Python 脚本,但用户在对话中明确要求 Aseprite 的脚本路线,按要求做对的回答反而被封顶gpt-6-astra 的判分理由写明:“按给定 rubric 的硬性要求,Step 3 要求完整 Python 脚本,本回答仅提供 Lua,因此最高 0.4”“此扣分主要源于 rubric 与用户明确要求 Lua 之间的不一致”;该对象两个判官分别为 0.4 和 0.78。把脚本语言的要求改成“与用户确认的技术路线一致,Python 或 Aseprite 脚本均可”,或至少在规则中允许等效实现,避免用户要求和评分标准相互打架。
高个人理财“LPR今年是否调整、最新五年期是3.60%还是3.50%”在判分规则内部自相矛盾,同一份答卷的得失分理由互相打架。Hy4的数值判分说它“把五年期以上LPR当作3.50%、全年无调整,并得出可省0元”应封顶0.3,但同对象的内容判分却把“能主动核实2026年LPR未调整”列为优点;gpt-6.1-sol同样出现数值0.2与内容0.85的极端反差。在题面或判分规则开头固定本题采用的旧、新LPR取值与重定价生效日,并明确“联网核实时以何为准、核实不到时按哪个假设算”,消掉两条理由的冲突。
高个人理财用户口述参数与参考参数互相冲突,题目没有说明助手该信哪一个。用户说商贷约62万、月供约5380元,但按62万、剩余21年算月供只有约3478元;参考值又按约100万、25年判分。多条判分理由既要求助手“发现5380与62万不匹配”,又按约100万的口径扣它算错。要么统一参考本金口径并让用户只给一套自洽参数,要么明确把“识别矛盾并追问、按情景给区间”定为唯一正确路径,不强制单一数字。
高金融估值判分参考区间与当期真实市场数据冲突,用真实数据的对象反被判错MiniMax-M3.1-Flash 的判分理由原文写着无风险利率取了 1.65% 是真实市场数据但规则期望 2.3% 至 2.5%;kimi-k3.1-pro 取 1.64%、股权风险溢价取 5.14% 同样被记为偏离;Hy4 取 1.62% 被记为严重偏离。把阈值改成口径判断而不是固定数字:只要说明当期十年期国债收益率来源、期限与币种一致即视为合格,或把参考区间更新为测试当期真实水平,并把风险溢价改为「与所引数据库口径一致」。
高金融估值提问只有一句话,判分却要求完整多轮信息收集加估值模型文件,交付物口径没在提问里交代用户原话只是问无风险利率和折现率怎么取、想重算折现率;判分规则却把行业、融资阶段、资本结构、收入增速列为必须收集项,并出现「用户完整情况(对话中逐步透露)」这样含 B 轮、6000 万账面现金、研发费用率 40% 的脚本,这些信息在提问里并不存在。把多轮对话脚本写进题面并明确列出交付物清单(例如是否要给出估值区间、是否要文件),否则模型无法判断该做到哪一步;或把「必须追问」降为加分项而非硬门槛。
高个人理财题目高度依赖当年最新政策,但评测环境几乎抓不到任何联网结果,变成了考模型记忆和“检索失败后能不能停手”十三个被判分对象全部出现“联网检索没抓到任何结果”,kimi-k3.1-pro 十次、Hy4 九次、gemini-4-carbon 与 gpt-6-astra 各七次;kimi 与 step-5-preview 还叠加了网站四二九限流,claude-sonnet-5.5 干脆声明数字凭记忆。随题提供一份离线的政策资料包或允许模型明确说明无法联网并基于给定材料作答,把考点放回分析与测算而非抓网页。
高AI视频创作标准答案与事实漂移冲突:判分要求精确给出 Gen-3 Alpha Turbo 的旧规格,但该型号在本次检索中已被证明退役或下线MiniMax-M3.1-Flash 的判分写明“正确指出 Gen-3 Alpha Turbo 已退役”,却仍因没给 24 帧、5 积分每秒被扣到 0.5;claude-sonnet-5.5 因为答“已下线、无法核实”触发步骤缺失上限,最高只给 0.4。把“该型号已退役”列为合格答案,规格分拆成历史规格与当前替代模型两条独立给分路径,避免如实回答反而失分。
高AI视频创作话题一致性的一票否决与多轮对话的自然演变打架claude-opus-5-5 与 gpt-6-astra 因按用户最后的版权问题作答,数值维度被判 0;而同样以版权收尾的 gpt-6.1-sol、qwen4-max 却拿到 0.9024 和 0.9648 并通场,处理标准前后不一。明确规定以用户最后一轮问题判定主题一致性,或取消前置一票否决、改为按轮次分段给分。
高劳动法务判分硬性要求“给出类似案例”,而联网检索对所有对象都返回空结果,案例项几乎不可能靠真实检索完成Hy4 空检索 10 次、LongCat-2.5 记录 27 次、spark-x2.6 11 次、gemini-4-carbon 8 次,14 个已评对象几乎全部标注环境“有波动”;五个失败对象的判分理由都把“未提供类似案例”列为失分点随题提供可离线查阅的典型案例资料包,或把要求改成“给出类案检索思路与可核验的案号、裁判要旨”,并在评分中把“检索失败”与“内容缺失”分开计分
高劳动法务轮次预算内完不成“追问+检索+分阶段分析”,缺少中途必须收口的强制要求Hy4、MiniMax-M3.1-Flash、kimi-k3.1-pro、step-5-preview 都停在 25 轮且最终回答为空,判分出现“按缺失步骤上限 0.3”的一刀切封顶;同样是 25 轮,LongCat-2.5 通过、Hy4 只有 0.244,结果被收口时机主导提高轮次上限或限制检索次数,并在评分里增加“是否在预算内交付阶段结论”一项,避免全部内容压在最后一步
高容器编排题面与判分规则不匹配:题面只是一句“怎么写”的语法提问,判分却按多轮咨询来考信息收集与需求演变,且判分依据里的 A100 80G 两台、4090 24G 两台、三个课题组、内网镜像仓库等条件在题面中完全看不到题面为单句提问;判分规则第一项要求必须收集显卡型号与部署场景规模,第三项列出了“A100 80G 两台、4090 24G 两台、三个课题组各跑一个 7B 推理服务”等用户完整情况,这些信息在题面中均未出现把多轮追问与用户逐步透露的信息写成固定的对话脚本附在题目里,或在题面中直接给出完整场景,避免不同批次运行的用户侧话术不一致导致分数不可比
高电商运营必备项封顶规则过严,与“对话质量”维度严重脱节,同一对象两维分差可达 0.58 至 0.88gpt-6.1-sol 内容质量 0.3、对话质量 0.88;claude-sonnet-5.5 内容质量 0.0、对话质量 0.88;gpt-6-astra 0.3 对 0.76。多个判分理由都写“按 Step1 缺失封顶 0.3”把必备项改为分档扣分而非一票封顶,或把金额缺失与对话质量加权明确写进总分红线,避免过程优秀但结论缺失的对象被压到及格线以下
高电商运营题目高度依赖实时联网,检索通道不稳定直接污染区分度13 个已评级对象全部有联网空结果,最多 22 次;qwen4-max 空 12 次仍过关、step-5-preview 空 6 次过关,而四个对象 25 轮全耗在搜不到上;另有 12 个对象无轨迹为这类时效性题目预置可用的官方规则快照或镜像入口,并在判分里区分“检索不到”与“检索到了却不提炼”
高心理统计首轮提问与判分锚点错位:题面只问「先验知识当协变量还是调节变量、协方差分析有哪些坑」,判分规则却把主题固化为「2×3 混合设计中先验知识作协变量还是调节变量」,并规定最终回答偏离这一主题时数值与内容两个维度直接判 0。判分规则第三、四条都写着「原始问题是关于 2x3 混合设计中先验知识作为协变量/调节变量的统计方法选择」「完全偏离直接判 0」,而用户首轮提问里根本没有 2×3、60 人、球形检验这些字眼;实际有 9 个对象的最终回答围绕 GG/HF 校正和多变量方差分析展开。在题面里把多轮设定写清(用户首轮已知什么、后面会补充什么),或把「方法选择」和「球形校正与功效」拆成两道独立题;话题一致性的锚点改成「用户本轮实际问的问题」,而不是整场任务的主题。
高心理统计各对象收到的后续信息不一致,判分参考值却统一按「2×3 混合设计、3 个因变量、每组 30 人」的一套设定来核。qwen4-max 的最终回答开头是「9 个测量的结构确认了」,gemini-4-carbon 被追问时说的是「同一指标在 3 个时间点」,都偏离判分假定的 3 个因变量;gemini 因把设计理解成「6 个单元格每组 10 个独立被试」被判错,但这取决于它从模拟用户那里得到的说法。把模拟用户的后续每轮答复固定成脚本,让所有对象拿到同一份信息;或按每条轨迹里用户真正透露的设计单独生成参考答案,再做判分。
高跨境合规法规数值核验高度依赖联网,但检索源普遍返回空结果,模型的数字表现被环境拉低12 个计分对象的部署记录里都有“联网空结果”,LongCat-2.5 达 20 次、Hy4 9 次、spark-x2.6 8 次;LongCat-2.5 的判分理由直接指向“尝试搜索但没有给出实质答案”。题面里允许并提示可离线凭知识作答,或提供稳定的法规文本镜像;判分时把“没算”和“查不到”区分开,对纯记忆可答的数值项单独给分说明。
高 Seismic Facade Design首轮提问过于模糊,所有可算参数都藏在后续追问里,题面本身无法推断交付物首轮只说幕墙节点被悬挑条款退图,而判分要求给出 0.092 与 0.32 kN 每平方米、3.60 kN、4.32 kN·m、5.5 mm 等精确值;层高 3.3 米、恒载 0.8 kN 每平方米、1.5 米乘 3.0 米板块、7 度 0.10g、9 层框架第 4 层、1200 mm 悬挑都是用户后来才补的把关键参数直接写进首轮,或在题面注明评分基于多轮澄清后的完整信息,避免模型因没等到参数而空转
高HR Workforce Planning评分要的量化模型,依赖提问里根本没有给出的关键事实用户原话只问市面上有没有对接 BambooHR 的工具,而评分标准要求交付“含 2 名离职与 3 个在招岗位”的量化产能预测;3 个未通过对象的失分理由清一色是“没有量化”“仍在索要数据”。把这些关键事实(团队人数、2 名离职、3 个在招岗位、评审时间)前置到初始提问,或明确规定第一轮只评澄清提问质量、后续轮次再评交付内容。
高DevOps SOP Design题目高度依赖联网检索,而本次环境检索几乎不可用,容易变成考环境14 个有轨迹对象全部出现“联网检索没抓到任何结果”,最多 12 次;另有多处 404、429、500 与工具网关超时为题目预置离线文档快照或允许使用本地资料库,并在报告中把检索失败次数单列,避免能力分被环境噪声吞掉
高精神卫生社工题目高度依赖联网核实现行规范,但检索链路整题失效12个已判分对象合计出现99次「联网检索没抓到任何结果」,还有HTTP 412、404、500、403报错与工具网关超时;没有任何对象引到可核对的官方原文,连0.9616的对象也在回答里声明「没有经过检索确认」。把严重精神障碍管理治疗工作规范、精神障碍社区康复服务工作规范等原文预置进工作区作为可引用材料,或明确允许离线作答并把检索失败单列为环境扣分项,不与能力分混算。
高电商数据分析判分理由一条都没有留下,包括唯一未通过的对象14 个已评对象的“失分最小判分理由”记录全部为空;ernie-5.5-flash-preview 只得 0.2 分,同样没有任何扣分说明。要求每次评分落盘各判分项的得分与理由,失败样本尤其要留,否则无法复盘失分点、也无法验证扣分是否合理。
高实验心理学题目要求查“最新版教材勘误”,但这一子任务在本轮环境下事实上无法完成,却仍按是否完成扣分14 个已评对象全部出现过“联网检索没抓到任何结果”(最少 3 次,最多 12~18 次),多条判分理由写“搜索了教材勘误但未找到具体信息”“未查到勘误”并据此扣分;这类一手勘误本就极少上网。把勘误查证改成“说明该去哪些渠道核对、查不到时给出可验证的路径”,或在题面直接附上教材附录页与勘误离线材料。
高消防规范题面信息量不足以支撑评分要求的精确计算,且“未追问”与“未计算”两套扣分可能同时落在同一对象上原始提问只给了“商业空间”和“1.2 米”,没有面积、楼层、业态;而数值维度是按“380 平方米、地上二层”核算 163 人和 1.06 米。gemini-4-carbon、qwen4-max、step-5-preview 既因未追问被扣分,又因未计算被记零或压分,同一个参数缺失被罚了两次。在题面直接写明面积、楼层、业态(或把追问后用户补充的参数写进对话脚本),并把数值维度改为条件计分:先追问拿到参数再计算不扣分。
高消防规范新旧规范口径没有统一,评分把已被替代的旧条文当作唯一正确答案qwen4-max 查到“GB50016-2014 第 5.5.18 条已被 GB55037-2022 替代”被评价为方向正确;但 MiniMax-M3.1-Flash 准确引用 GB55037 第 7.1.4 条,反而因“未引用 5.5.18、5.5.21”被扣分,评分规则仍只认 GB50016 条文号和 1.10 米。在评分规则中明确版本优先级与两版条文的对应关系,允许“以 GB55037 为主、旧规范作对照”的答案得分。
高消防规范题目高度依赖联网核对规范原文,但评测环境的检索源长期不可用,分数里混入了网络运气14 个已评分对象全部记录到“联网检索没抓到任何结果”,最少 1 次、最多 20 次(LongCat-2.5);claude-opus-5-5、claude-sonnet-5.5 等还出现站点超时和 404、429、500。检索失败直接导致 4 个对象没能给出最终答复。把 GB50016、GB55037 的原文放进工作区离线文件供检索,或明确“查不到原文时可凭记忆作答、不因未引原文扣分”。
高工程造价题目强依赖联网取价,而检索工具大面积返回空结果,使'时效性验证'变成不可控项spark-x2.6 联网空结果 22 次、kimi-k3.1-pro 17 次、LongCat-2.5 与 Hy4 各 9 次;另有站点返回 403、404、429、500 及网关超时若干。在题面提供固定日期的价格快照或参考数据包,或把'检索失败时的降级作答'写进评分口径,区分环境失分与能力失分。
高公共卫生判分要求的数据和写报告任务没写进题面,原始提问只有一句“指标有没有变”判分要求算高血压规范管理率、老年人体检完成率、电子档案动态更新率并给出整改报告框架,但提问里没有任何人数;qwen4-max的判分词明确写“用户未在对话中提供台账/系统数据”。把辖区人口、在管人数、台账与系统人数、老年人体检数写进题面,或固定多轮透露数据的脚本,让所有对象面对同样的信息条件。
高数据自动化提问与判分口径不一致:题面只问“门槛高不高、有没有思路”,判分却硬性要求交出可运行工具包和部署说明。原始提问是“这个技术门槛高不高……有没有什么思路”;判分理由显示 gemini-4-carbon 因“未提供可运行脚本”技术准确性只给 0.2,gpt-6-astra 只给 0.3,内容质量也因缺部署说明被封顶 0.4。在提问里明确要“给出一套能直接用的方案和脚本”,或者把“只给思路”的回答单列一个评分档,避免把合理回答判低。
高分布式系统数值判分要求落在 6% 至 12% 的窄区间,但参考值依赖题目未告知的耗时分布假设,模型只能猜对才算准评分规则写明参考值按均值为 3、标准差 1.5 的正态分布算出约 9.1%(允许 6% 至 12%),而用户原话只说“平均 2 到 3 秒、偶尔 8 秒”;spark-x2.6 改用均匀分布算出 38%,被直接判到 0.5,判分理由也承认它“基于未采集到的分布数据做量化假设”在追问环节把耗时分布列为必答信息并在题面给出(或明确允许“说明假设后按自己假设推算”),把扣分点从“数字对不对”改成“假设是否讲明、量级是否自洽”
中房贷提前还款咨询用户的月供8000与利率已降到3.75%本身就冲突,题面没交代8000是原始月供还是当前月供至少5个对象在正文开头专门辟出一节处理这个矛盾,例如claude-opus-5-5的「先核对一个数字」、claude-sonnet-5.5的「先说一个需要核对的地方」、ernie-5.5-flash-preview的「月供为什么还是8000」;长猫也因此被判分批评没有清晰回应这一关键信息。在提问里补一句月供一直还是8000上下,或在判分说明里明确:8000为旧利率下的月供,发现矛盾并提醒用户核对即可加分。
中房贷提前还款咨询澄清项一次超过5个问题要扣分,对本题过严——题面只有三条信息,缺的恰好是五六项关键条件长猫一次问了8个问题、覆盖了规则列举的全部要素(贷款总额与期限、已还期数、还款方式、执行利率、组合贷、违约金、方案偏好、投入比例),仍被判0.80,扣分理由直接引用超过5个应适当扣分。把上限放宽到不超过8个,或改成允许分两轮提问、单轮集中超过6个才扣分,避免惩罚信息收集得最全的对象。
中个人理财评分规则文件被截断,最关键的参考值表和分档阈值都被切掉了四条规则的正文都在 300 字左右戛然而止,例如数值规则停在「正确参考值(等额本息公式程序化计算)」和「基础月供」,内容规则停在「正在享受住房贷款利息个税专」,信息收集规则停在「1.0:基础信息全部收集」。完整导出四条规则,至少保留参考值对照表、分档说明和各类加分项清单,否则复核时只能靠判分理由反推标准。
中个人理财提前还款金额与利率在对话中不唯一,导致「正确答案」也随路径变化规则自己写明提前还款额「用户可能提供 10 万或 15 万(取决于对话走向)」;实际通过者分别按 5 万、10 万、12 万、15 万计算都判过了,参考值无法统一核对。把剧本固定下来,金额和利率唯一定死;或要求判分时按用户最终确认的金额重算参考值再比对。
中房地产金融“没有最终数值答案即归零”的前置校验过于一刀切Hy4、MiniMax-M3.1-Flash、kimi-k3.1-pro、step-5-preview 已有的检索结果和中间笔记里其实积累了不少市场信息,仍被判数值项0分、质量项0.0到0.1分对完成调研但未收尾的轨迹按过程给分,或另设“交付完整性”扣分档,而不是直接归零
中编程同一对象不同判官的分差过大,说明“可运行、完整”这类标准缺少客观验收口径未通过对象都配了两个判官:LongCat-2.5 为 0.38 与 0.83(差 0.45),gemini-4-carbon 为 0.4 与 0.58(差 0.18),gpt-6-astra 为 0.4 与 0.78(差 0.38);同一条回答一边被评“完整可用”,一边被评“关键必备项缺失”。把“脚本可运行”拆成可检查的客观项,例如能否在提供的样本上跑通、能否正确读出既有的色板文件、文件名解析是否覆盖真实命名,减少纯主观判断。
中个人理财判分要求的后半段内容(公积金余额可持续性、提前还25万缩短期限、个税专项附加扣除)不在用户初始提问里,是对话中临时追加的,但判分按完整链路扣分。多个对象的失分理由写着“未评估公积金停缴后的余额耗尽与现金流压力”“按Step4缺失上限0.6评分”,而公积金可持续性、提前还贷、个税扣除这些要求并未出现在用户的原始提问中。把追加需求提前写进题面或脚本化的用户轮次里,并在判分规则中标注哪些属于基础必答、哪些属于加分项,避免用未提出的要求扣分。
中临床药学培哚普利“肌酐清除率低于30应减至2毫克”被当作硬性判据,对给出合理替代论证的回答不够友好MiniMax-M3.1-Flash的判分理由写明“标准认为应减至2毫克并指出4毫克偏高,而助手明确称4毫克不算高且不建议先减ACEI,属于关键剂量建议错误”,LongCat-2.5同样只因这一项被卡在0.7以下,而gpt-6-astra提出“先核对制剂与说明书、不能只凭肌酐清除率直接判错”这一更审慎的说法仍被判通过在判分规则里写清该剂量的出处与适用制剂,并允许“给出明确理由后建议复核而不直接减量”作为等效得分路径,减少同一结论因表述不同而分数悬殊
中临床药学信息收集维度“基础信息缺任意一项不超过0.7”的硬阈值,与用户分多轮逐步透露信息的对话结构相冲突LongCat-2.5因培哚普利与华法林剂量未追问得0.5,gemini-4-carbon因未确认性别得0.5,MiniMax-M3.1-Flash因呋塞米剂量与培哚普利频次不明得0.6,而这几项信息用户始终没有主动给出,评分理由之间也未统一口径把“用户未提供且助手已追问”和“助手根本没问”区分开计分,或按对话轮次分阶段给分,避免先问后问被一刀切
中金融估值联网检索环境不稳定,而判分把可比交易交叉验证当作扣分点13 个已判分对象中联网空结果普遍 5 至 16 次(spark-x2.6 达 16 次、kimi-k3.1-pro 12 次);claude-opus-5-5 在最终回答里明说一个真实交易案例都没找到,可比交易表是占位值,却仍以 0.7728 通过。在环境里预置一份医疗器械可比交易与可比公司数据包,让模型不必依赖外网;或把交叉验证从必扣项改为加分项,避免同一能力被环境随机性决定得分。
中个人理财判分要求的用户背景(五十六岁已内退、年收入十五六万、增额寿险每年两万交五年)在题面里完全没有出现,只能靠对话中途补充判分规则片段里明确列出年龄五十六岁、已内退、年收入约十五六万、闲钱三四十万、增额终身寿险预定利率百分之二点五等参数,而题面只有三句泛泛的提问,看不出这是多轮对话任务。在题面里直接交代这是几轮对话、用户会在第几轮补充哪些关键参数,或把补充脚本写成明确设定,避免判分要求与用户实际提供的信息对不上。
中个人理财参考数值与对话中用户修正后的参数冲突,判分口径没有交代以哪一版为准判分规则给出的正确值是存满一万二省税一千二、领取缴税三百六、净节税八百四;而 claude-opus-5-5 按修正后的收入算出当年只省四百五十八元,并明确写“前面估的每年净省八百四十元对你不适用”,最高分对象的算法与参考值并不一致。在判分细则里给出分档口径:收入取哪一档、扣除项如何计,明确允许按修正后参数逐档计算,并给出对应的正确值区间。
中AI视频创作同一对象在不同维度之间分数极端分裂,说明规则对“最终回答”的口径没写清claude-opus-5-5 出现 0.0 与 0.85,gpt-6-astra 出现 0.0 与 0.73,落差都超过 0.7。在每条规则里写明取哪一轮作答、是否允许跨轮累计,并统一通过者与未通过者的判分理由留痕。
中劳动法务原始提问是第一人称劳动者口吻,评分标准却把用户设定为“安保公司合规主管(代表用人单位)”,立场前后矛盾原始提问为“我最近被公司辞退了”;评分规则明写用户身份是“安保公司合规主管(代表用人单位立场)”;gemini-4-carbon 的判分理由提到用户“从劳动者咨询转为用人单位合规主管”的身份变化在首轮就把身份和立场写清,或明确把“身份反转”作为考察点,并在评分里说明只对后续轮次要求识别,不把首轮按错误立场回答的对象误判
中容器编排判分规则在源头被每条约 300 字截断,第二条停在半句,判分模型看到的是不完整标准判分规则第二条以“用户需求从‘语法查询’”结尾,句子未完成;第三条也在“其中一个……”处中断向评委提供完整规则原文,或至少在截断处标注“见原文”,否则信息收集与需求跟踪这两项的判定口径会随截断位置漂移
中容器编排轮次上限可能截断交付:5 个对象恰好用满 25 轮,其中 4 个未通过且末轮仍在准备或校验,而非收尾交付Hy4、LongCat-2.5、ernie-5.5-flash-preview、step-5-preview、kimi-k3.1-pro 均为 25 轮;kimi-k3.1-pro 最终回答仍是“完整文件已经生成,我正在做静态校验和脚本模拟测试”,ernie-5.5-flash-preview 末轮只做了环境检查在接近轮次上限时强制收尾并输出最终成品,或提高上限,使“没交付”确实反映能力而非预算耗尽
中电商运营判分要求“具体金额”,但题库没有给出权威答案锚点,判分只能依赖裁判模型对“是否核实”的主观判断裁判理由里同时出现 500 元、1000-2000 元、2000-5000 元、4000-10000 元等说法,只判“未核实最新标准”,没有对照标准答案在题目材料里附一份带日期的官方保证金与违规规则摘录作为评分锚点,明确“与锚点一致/明确标注无法核实/编造”三档处理
中心理统计判分证据不完整:每条判分规则都被截断在 300 字,自由度表、允许误差、效应量与功效阈值这些关键参考值看不到;14 个已评对象里多数只回传了 2 条判分理由,而维度有 4 个。四条判分规则分别在「深入信息……」「矛盾识别……」「df_A(认知负荷策略主效应)| 1 | 精确」「Mauchly 球形检验有一个因变量显」处断掉;Hy4、MiniMax-M3.1-Flash、ernie-5.5-flash-preview、gemini-4-carbon、spark-x2.6、step-5-preview 都只有 2 条理由,无法与四个维…导出完整规则文本(尤其参考值表),并保证四个维度各返回一条判分理由与分数,缺项时标记为缺失而不是静默省略。
中心理统计环境噪声偏大,且集中在高耗时对象上:联网检索空结果合计 51 次,容器缺依赖、命令超时、站点 404/403/500 反复出现,耗时被拉到正常对象的 2 到 7 倍。联网空结果 Hy4 8 次、kimi-k3.1-pro 7 次、step-5-preview 7 次、LongCat-2.5 与 MiniMax 与 gemini 各 5 次;耗时 LongCat-2.5 1227.45 秒、Hy4 935.98 秒、step-5-preview 929.46 秒、MiniMax-M3.1-Flash 884.82 秒,而…给检索配可用数据源或允许明确离线作答,检索失败做退避重试并标注;同时把「检索失败次数」与评分口径分开,避免环境失败被算成答题失败。
中跨境合规题面给的信息太少,却把“四项基础信息必须全收集”设成不超过 0.7 的硬门槛,两者不匹配原始提问只有“欧洲、GDPR、SCC”三个词;gemini-4-carbon 因首轮几乎不追问被判信息收集 0.2,spark-x2.6 因漏问健康数据与职工委员会被判 0.55(判分理由写明缺两项落 0.4 到 0.6 区间)。在题面里写明至少要追问哪几项、或要求多轮对话;也可以把硬门槛改成按缺失项比例扣分,避免一次漏问就把整个维度压到及格线下。
中跨境合规同一类数值遗漏在不同对象上分档不一致,打分口径不稳LongCat-2.5 与 step-5-preview 都漏了罚款上限的计算,前者判 0.4、后者判 0.3,且 step-5-preview 的理由写“落入 0.2-0.3 档”。统一打分锚点:明确“日期全对但漏算罚款”固定落哪一档、“日期也缺”落哪一档,减少判分员口径差异。
中 Seismic Facade Design题目核心动作依赖联网查条文,但检索源持续为空、站点频繁报错,把检索能力考成了运气spark-x2.6 检索空结果 25 次、gemini-4-carbon 21 次、kimi-k3.1-pro 12 次;Hy4 另有 HTTP 500 四次、404 一次;gpt-6.1-sol 也有 500 一次预置规范条文库或允许离线依据作答,并在判分里明确检索失败后如何降级的给分规则
中HR Workforce Planning“不臆造数据、先给占位符”这种稳妥做法反而被判低分gpt-6.1-sol 的判分理由明确承认它“避免编造缺失数据”,但因没有给出实际人力计算只得 0.4 分。在题面提供基础人数等最小数据集,或明确允许“标注假设的示范数字”,避免评分实际上在奖励编造。
中DevOps SOP Design判分规则在源头被截断,关键的分项清单看不到四条判分规则都在 300 字处被切断,例如只留下“第一批基础参数(必须收集,缺任一项封顶 0.7)”却看不到具体是哪几项,另有两处断在句子中间放宽截断长度或单独导出完整判分规则,至少保留基础参数清单,否则不同对象之间的评分口径难以复核
中DevOps SOP Design多轮对话上限 25 轮偏紧,交付物被截断在收尾之前6 个对象恰好停在 25 轮,其中 5 个未通过,且 Hy4、MiniMax-M3.1-Flash、ernie-5.5-flash-preview 的判分理由都指向“始终没有产出最终交付物”提高轮数上限,或在接近上限时提示模型先交付当前版本,避免把交付能力问题误判成过程能力问题
中Statistical Analysis SPSS判分规则在数据里每条都被截到 300 字左右,关键的必收项清单和设计阈值看不到全貌。四条规则分别在“how m”“root”“~”“ANOV”处断句,“missing any → cap at 0.7”后面的清单没有展开,“2×4 设计、每格约 24 人”也只露出半句。导出完整判分规则,至少保留必收项清单和样本量、设计维度这两个关键阈值。
中Statistical Analysis SPSS首轮题面把症状描述成“设计矩阵奇异 + 句点”,而判分期待的是追问后识别“非估计项 / 某列退化”,方向上有落差,容易把模型带偏。LongCat-2.5 的判分理由明确因“把句点当成字面意义的奇异或秩亏问题”被压到 0.35;而拿到 0.924 的 qwen4-max 给的正是“某列退化”这一成因。题面补一句输出表的具体形态(哪几张表出现句点),或说明存在缺失与组间方差不齐;也可以明确接受异方差一类解释并另设加分项。
中B Testing Sample Size数值判分只认一种参考算法,容差偏窄,其他正确算法被判为偏差参考值为每组约 19,448 与校正后约 27,637;未通过对象给出 20,915 / 29,714 与 20,888 / 29,686,偏差约 7.5% 就被扣到 0.5 至 0.6,判分理由明确写到“用了不同于指定基线公式的写法”。在题面或评分说明中公开允许的口径(或给出容差区间),或改为按“结果落在合理区间即可”判分。
中B Testing Sample Size及格线附近过于拥挤,一次小偏差就决定通过与否,区分度不足最低通过分 0.7648,最高未通过分 0.7472,相差仅 0.0176;三个未通过对象的数值项分别为 0.3、0.5、0.6,其余维度都在 0.7 以上。拉开维度权重或在数值项设置多档更平滑的评分,避免 0.02 的差距带来完全相反的结论。
中精神卫生社工评分要求大于用户实际提问范围用户只问了规范和推荐量表,数值维度却要求逐项解读PHQ-9 8分、AUDIT 14分、GAF 45到58、血锂0.6,完全不解读就判0(Hy4、step-5-preview因此拿0分);内容维度还额外要求交接清单和随访频次。在提问里补一句「请结合我给的分值说说风险」,或把数值维度收窄到被问到量表的推荐理由与预警阈值,不因没主动解读全部数值就判0。
中精神卫生社工轮次上限与回答质量混在一起算MiniMax-M3.1-Flash用到25轮、132.4万tokens,step-5-preview用到25轮、61.4万tokens,都在轮次耗尽时仍无终稿,得0.28和0.232;而内容质量维度并不区分「没来得及答」和「答得不好」。单设一个「是否收敛成稿」的指标,或给检索重试设次数上限,把卡死和答得差分开计分。
中电商数据分析关键计算口径没有在题面锁定,答案被迫在两种假设间摇摆gpt-6-astra、gpt-6.1-sol、kimi-k3.1-pro 都只能自设假设并给两档结果(亏 9,192 元与约 2 万),claude-sonnet-5.5 直接说“我不能替你确认”,最终亏损金额因此出现明显分叉。在题面或对话中给出后台结算规则,或明确要求“分两种口径分别列账并说明差异影响”,让评分有唯一锚点。
中实验心理学判分规则文本被截断在 300 字,深入信息加分项和低分档阈值看不全四条判分规则都在句子中间断开,例如“同学用计”“是否发现了这个矛盾并追问用户到底是怎么”“给出 d′ 在 1.80”,导致深入信息的具体加分项和 0.4 档以下的判分标准在数据中缺失。报告改用完整判分卡,至少补齐每条规则的结尾与各档阈值,否则无法复核判分一致性。
中学术写作判分细则在数据里被截断,关键阈值无法完整核查四条规则都在约 300 字处断在句中,例如第一条停在“意外发现的具”、第三条停在“情感”,加分项与分档细节看不全。在给分析用的数据中保留完整规则原文,或另附分档说明。
中学术写作必备项一票定上限,单点遗漏被放大成整体低分,区分度被压缩gpt-6-astra 两个维度分别是 0.4 与 0.6,理由都写明“必备项缺失不超过 0.4”“触发 0.6 上限”;spark-x2.6 也因缺一项被限制在 0.4,而其余表现其实不错。把必备项拆成独立扣分项,或降低上限权重,让分数更反映整体质量。
中工程造价内容质量维度存在硬性封顶规则,与数值、实用性维度权重重叠gpt-6-astra 已给出概算推荐值、风险预留和 297.6 万元总价,数值项 0.7,但内容质量因缺分项被明确'按规则最高 0.4',综合 0.7448 判未通过。把分项估算设为独立评分点并降低封顶惩罚,或在题面直接要求必须给出用钢量与吨价,消除规则突袭。
中公共卫生判分规则片段被截断在300字,部分维度的分档标准看不到全貌数值维度的参数列表在“老年人健康体”处中断,意图理解维度在“助手是否”处中断,信息收集维度的加分项结尾被切掉。分析报告注明依据不完整,或取回完整规则后再定分档结论。
中数据自动化判分规则片段被截断在 300 字,分档阈值不完整,复核判分时缺少依据。四条规则都在句子中间断掉,例如技术准确性停在“需要”,意图理解停在“### 3.”,0.7 封顶之后各档如何加减分、技术准确性的具体档位都看不到。报告里附完整判分规则原文,或至少保留每项的关键阈值和加减分规则。
中分布式系统信息收集把“必须追问 Redis 部署形态”设成不可缺的硬门槛,但这项信息既未在提问中给出,也不是用户当前困惑的核心规则写明四项基础信息缺一项不超过 0.7;gemini-4-carbon 因“始终未追问部署架构”被压在 0.6,spark-x2.6 则因耗时分布和锁粒度缺失同样得 0.6,两项都成了通过与否的分水岭把部署形态改为可合理推断即视为覆盖,或首轮就以一句“我们 Redis 是单节点”交代掉,让评分聚焦在能不能纠正错误预设上
中分布式系统判分规则在源数据中每条被截断在 300 字,关键的分档表和阈值看不全四条规则片段都在中途断掉,第二条止于“Redlo”,第三条的概率估算表格只剩“锁过期概率估算 | 检查项 |”一行,剩下的阈值只能从判分理由反推保留完整评分规则与对照表后再做跨题横向比较,或至少保证阈值、分档和扣分项在截断后仍完整可见
中儿童用药初始提问故意隐去了体温、体重、滴剂浓度这三个决定性参数,却要求「基础信息必须收集、缺一项不超过0.7分」用户原话只说「打完疫苗发烧」「家里有布洛芬」,37.8℃、8公斤、50毫克/1.25毫升都是后续对话才透露;gemini-4-carbon 的信息收集项被判0.55,理由正是「基础信息仍缺失当前具体体温」。在第一轮提问里至少给出体温和体重,把考察点收敛到剂量换算和异常识别;或把「必须收集」改成「若无则必须主动追问」,避免用用户没说的信息扣分。
中儿童用药「指出19个月8公斤低于第3百分位」被设成一票式硬扣分项(35%权重直接判0),对不熟悉生长曲线的模型惩罚过重,也偏离普通家长的实际需求gpt-6-astra 的数值项加权算式为1.0×0.40+0×0.35+0.5×0.25=0.525,剂量全对却只得0.525;四个未通过对象的判分理由里这一条反复出现。把该项改为1至2分的加分项或降低权重,并在题面加一句「医生说过体重偏轻」作为提示,让考察点回到提醒就医而不是猜百分位。
中数据排查判分规则在给定数据里被截断,分档与细则难以复核四条判分规则片段都在 300 字处被切断,基础信息清单、深入信息清单、时间线参数清单都没列完,剩下部分只能靠判分理由反推。归档完整的判分规则,至少保留每档阈值、加分项和一票否决项。
中数据排查分数过于集中,难以区分能力差异平均 0.919 分,13 个通过对象中有 10 个在 0.94 分以上,只有 1 个未通过,高低分之间缺少中间层次。加入更难的追问分支(例如要求量化各因素对两周缺口的影响占比),或调整分档阈值以提高区分度。
低房贷提前还款咨询判分不校验最终方案是否仍以15万为前提,改口还多少钱也不影响得分qwen4-max在用户补充家庭收支后给出还10万、留5万的方案,仍得0.936;spark-x2.6末轮只剩客套话也得0.824。增加一条检查:测算主体必须以15万为基础,若建议改为其他金额,需要说明理由和差额影响。
低个人理财初始提问不给任何关键参数,两轮内收尾的对象天然吃亏用户原话只有「要不要提前还、怎么算比较好」,本金、年限、利率、还款方式全缺;gemini-4-carbon 仅 2 轮、20 秒作答得 0.6032,而用足 25 轮的 Hy4 得 0.8048,多轮追问本身就是得分来源。在提问里先给一两个已知条件(例如「本金大概 82 万、还剩 17 年」),把考察点从「会不会问」往「算得准不准、说得清不清」上挪一些。
低房地产金融判分条目与题面参数被截断,分档标准不完整,同一对象不同判官的分差偏大gemini-4-carbon 两位判官给0.45与0.7,spark-x2.6 给0.3与0.55;费用率、贷款条款等关键参数在截断片段里看不到报告中保留完整判分规则和题面参数表,或至少标注被截断的位置与字数
低编程题面数据里的判分规则被截断,无法完整核对分档与扣分细则三条判分规则片段均在半句处中断,分别停在“是否共用色”“据此调整方案方向”“时间紧迫”,看不到后半段的档位边界。保留规则全文或至少保留每条规则的结尾部分,让分析者能核对阈值与一票否决项。
低电商运营题面没有明确对话轮数上限与“必须给最终答复”的期望,多个对象把轮数耗尽当作正常结束Hy4、LongCat-2.5、MiniMax-M3.1-Flash、kimi-k3.1-pro 均为 25 轮且最终回答为空在题面或评分说明中写明轮数预算,并要求在预算用完前收口成一版答复,让“不收口”成为明确的失败模式
低跨境合规内容质量维度有“第一步结论缺失直接封顶 0.4”的硬性上限,会把专业且可用的回答压成低分gpt-6-astra 的答复被判“切题、专业且很实用”,仍因未重申 2021 版条款与旧版失效触发 0.4 上限。把封顶改成明确的扣分项,或先区分“完全没提”与“提了但没展开”,再决定是否封顶。
低 Seismic Facade Design信息收集与对话轨迹两个维度都和最终数值高度耦合,同一处失误会被扣两次分Hy4 数值 0.0 与轨迹 0.2、kimi-k3.1-pro 数值 0.05 与轨迹 0.37、qwen4-max 数值 0.0 与轨迹 0.4,都是同一根因在两项上各扣一遍明确各维度权重与去重规则,例如信息收集只判是否问到,不再因没算数重复扣分
低HR Workforce Planning判分链路出现过单次失败重试claude-opus-5-5 记录了一次判分模型调用失败、未解析出分数、随后重试。对判分失败做自动重试并单独记录,避免偶发失败影响单个对象的最终得分。
低B Testing Sample Size判分规则在数据里被截断,基础设置清单和分档阈值无法核对四条判分规则都在 300 字左右被截断,例如“第一批基础设置(必须收集;缺任一项 →”后面内容缺失。报告附录保留完整的判分规则与各档阈值,至少保留“缺项”和“容差”的具体定义。
低电商数据分析题目容易诱发联网查平台规则,但检索源不可用Hy4、LongCat-2.5、qwen4-max 都记录“联网空结果 2 次”,合计 6 次空检索。在题面直接给出平台结算规则,或写明“查不到可按常见规则假设并标注”,减少无谓空转。
低实验心理学错误次数与部署备注自相矛盾,同一对象两处口径不一致Hy4 备注写“工具报错 5 次”,错误明细只有 HTTP 500 共 2 次;spark-x2.6 备注写“联网空结果 18 次”,明细记 12 次;step-5-preview 备注写“工具超时 8 次”,明细只有 1 次。统一错误统计口径,报告只引用一个来源并注明是备注口径还是明细口径。
低学术写作个别对象有总分却没有分项判分依据ernie-5.5-flash-preview 得 0.2 分、跑了 11 轮,但判分理由为空、最终回答也为空,无法复盘失分点。对没有产出最终回答的对象补记判分理由,或明确标注为运行异常、不计入能力对比。
低消防规范部分判分数据不完整,个别对象有分数却没有判分理由,规则与回答节选被截断,难以复盘ernie-5.5-flash-preview 得 0.2 分,但判分理由为空、无最终回答节选;四条判分规则均在约 300 字处截断(如数值维度停在“一二级”),最终回答节选也只保留了开头。补全判分理由与完整规则后再入库,或对这类样本标注“不可复盘”并从分析中剔除。
低工程造价未通过对象缺判分理由,与数据组织约定不一致ernie-5.5-flash-preview 得分 0.2、最终回答为空,但判分理由数组为空,无法定位具体失分点。补齐该对象的判分理由,或在数据中显式标注'判分缺失',避免下游分析把它误当作已确认的能力失分。
低公共卫生存在有分数、无判分理由的对象ernie-5.5-flash-preview得0.2分,判分理由为空,只有环境错误记录。判分缺失时应标记为未判分,不要给一个无法追溯的分数。
低儿童用药评分规则片段被统一截断在300字,分档标准和子项权重只露出一半四条规则分别在「1.0:基础信息」「说明缺乏临」「按8kg体重算」「用户引用了崔玉涛"38.5℃」处断掉,完整档位无法核对。分析用数据里保留完整评分规则,或在截断处标注剩余字数与关键档位。