题目分析 / C20zh_mental_health_social_work

精神卫生社工 C20zh_mental_health_social_work

偏难平均分 0.657通过 10 / 已评 19
通过率
52.6%
10 / 19 个已评对象
平均分
0.657
最高 0.962 · 最低 0.200
题目类型
中文题
多轮对话 + 工具调用
题目质量提示
3 条
见本页末尾

1. 这道题是什么

用户以临床或社工身份,要为一位住院68天、双相II型合并酒精依赖的34岁男性患者办社区转介,先问国内对这类共病患者的社区随访有没有规范或专家共识,重点问危机预警指标和推荐量表。随后用户分成几轮陆续补上诊断、用药、量表分、血锂值、饮酒与两天未睡、三年前割腕等信息。助手需要边追问缺失条件边修正判断,最终交出一套能落地的转介与随访建议。

用户原话(题目开场)

我有个患者要做社区转介,是共病的情况,想问问国内现在对这类患者的社区随访有没有什么规范或专家共识?特别是危机预警指标这块,哪些量表或指标是推荐用的?

题目要求

  • 说明国内针对严重精神障碍和精神障碍社区康复的现行管理规范或专家共识,并讲清各自适用哪一层
  • 针对精神障碍合并酒精依赖这类共病,给出危机预警指标和推荐使用的量表
  • 信息不全时先追问关键条件(诊断、当前用药、量表结果、社会支持),不要先给笼统答案再补问
  • 用户补充新情况(住院期间饮酒、两天未睡、锂盐依从性差、既往自伤)后要及时修正结论,不能沿用旧判断
  • 对已经给出的量表分和化验值作出解释和风险分层
  • 给出可执行的社区转介交接内容和随访、复查安排

要求的交付物

  • 一份针对该共病患者的社区转介与随访方案,含风险分层和预警阈值
  • 国内规范与专家共识的依据及其适用范围说明
  • 危机预警指标与推荐量表清单,并解释该患者现有分值的含义
  • 转介交接清单以及随访频次、复查项目与时间安排

2. 判分点与判分细节

对话中的意图理解与响应质量

逐轮看助手有没听懂用户问的是国内规范和量表,第一轮是否就察觉信息缺口并主动追问,而不是先给一段笼统回答;用户后面透露饮酒、失眠、自伤史时,助手有没抓到这些信息的临床意义并调整方案。

量表分值与数值判断的准确性

只看对数值的解释对不对,不看建议好坏:PHQ-9 8分、AUDIT 14分、GAF住院时45分与出院前58分、血锂0.6 mmol/L、碳酸锂0.9 g/d、拉莫三嗪100 mg/d、住院68天。最终回答若完全跑题,这一项直接判0。

回答的内容质量

看完整性、专业性和可用性:有没有讲清国内规范的适用层级,有没有系统列出危机预警指标和推荐量表,有没有针对共病做个性化风险分层,有没有形成交接清单和随访频次建议;数值对错不在此项计分。

信息收集质量

基础信息包括患者基本信息与共病类型、用药方案与住院时长、出院量表结果与当前临床状态、社会支持系统四组,缺任何一组得分不超过0.7;用药依从性、近期行为事件等深入信息每覆盖一项加分。

判分细节

四个维度各自独立计分,分别是对话响应质量、数值准确性、内容质量和信息收集,彼此不能互相补分。数值与内容两个维度都设了话题一致性前置检查,最终回答只要偏离「共病患者的社区转介与随访」,该维度直接判0。信息收集有硬门槛:患者基本信息与共病类型、用药与住院时长、出院量表结果与当前状态、社会支持四组缺一组,得分上限就是0.7。数值维度还有一条近乎一票否决的规则,最终回答只要完全没解读给定的量表分和化验值就判0,有两个对象正是因此拿到0分。判分特别盯共病的个性化风险分层、血锂值的时效性,以及AUDIT 14分、PHQ-9 8分可能低估实际风险这类矛盾点。

机制说明:每题由判分模型按多个维度独立打分(完成度、稳健性、安全性等),综合分 = 0.8 × 完成度 + 0.1 × 稳健性 + 0.1 × 安全性;本批数据里稳健性与安全性恒为 1.0,因此综合分只剩完成度一个变量。综合分 ≥ 0.75 记为通过。源数据只保留了判分规则的 300 字预览。

3. 各测试对象得分统计

得分、结果、部署、耗时、Token 五个维度;按得分从高到低
测试对象得分结果部署 / 环境耗时Token失分要点
claude-opus-5-51 次运行0.962通过有波动工具报错1、空结果54m 36s102,321通过;助手在整个对话中表现出色。第一轮就主动检索并识别关键信息缺失(共病组合、主诊断、自杀史、接收方、地区),并在回答后追问。后续每轮都准确捕捉新增信息的临床意义并动…
Qwen3.8-Flash(xhigh)测试报告0.951通过仅报告17m 21s305,080得分来自测试报告;没有轨迹与判分理由,无法复盘过程
mimo-v2.6-pro-ultraspeed测试报告0.941通过仅报告6m 10s263,600得分来自测试报告;没有轨迹与判分理由,无法复盘过程
kimi-k3.1-pro2 次运行0.940通过有波动空结果78m 12s112,152通过;基础信息最终收集完整:性别年龄、双相情感障碍Ⅱ型合并酒精依赖、住院时长、当前用药及量表结果、就业与社区接收机构均已明确。助手也主动追问过共病类型、严重精神障碍管…
claude-sonnet-5.51 次运行0.918通过有波动空结果103m 03s89,878通过;助手整体很好地跟踪了用户意图演变:从宏观规范到个案转介方案,再到血锂可靠性。多轮中主动识别缺失信息并追问,能准确捕捉近期饮酒、睡眠减少和自伤史对风险分层的影响,…
gpt-6.1-sol1 次运行0.909通过有波动工具报错1、空结果104m 15s82,525通过;助手在首轮进行了必要澄清,询问了共病类型、地区/接收机构、当前危机及近期事件,使基本转介信息最终齐全。但对深入信息中关键项的主动追问不足,尤其未明确追问锂盐依从…
gpt-6-astra1 次运行0.883通过有波动工具报错2、空结果112m 38s67,526通过;血锂0.6 mmol/L可处于维持治疗范围的解读正确,并准确指出两周前结果不能代表近期饮酒、依从性变化后的浓度,脱水可能使血锂升高,需复查。也识别了低抑郁评分不…
deepseek-v4.1-flash-1017测试报告0.873通过仅报告14m 20s764,666得分来自测试报告;没有轨迹与判分理由,无法复盘过程
Qwen3.8-Max(xhigh)测试报告0.870通过仅报告21m 40s122,300得分来自测试报告;没有轨迹与判分理由,无法复盘过程
LongCat-2.51 次运行0.850通过有波动超时1、工具报错9、空结果66m 14s561,143通过;对话中基本转介要素(性别年龄、共病诊断、用药与住院时长、出院量表、社会支持/社区机构)最终在用户补充后基本齐全;助手也主动询问了共病类型和当前状态。但后续大量关…
gemini-4-carbon1 次运行0.749未通过有波动空结果539s44,077助手主要依据用户提供的个案信息给出建议,但整体主动收集信息不足。基础信息中患者诊断、用药、住院时长已由用户提供,量表/血锂信息也在后续部分提供,但助手未主动追问当前临床状态、家庭/社会支持、社区接收能力等关键项;深入信息…
spark-x2.61 次运行0.725未通过有波动超时2、工具报错5、空结果238m 01s171,109助手首轮提出了一些澄清问题(共病类型、诊断、转介目的、地区),但未系统收集基础信息:性别年龄、完整用药方案、住院时长、出院量表结果/当前临床状态、社会支持系统等均缺失。后续用户主动补充了部分深入信息(碳酸锂、睡眠减少、自…
Kimi-K3(max)测试报告0.456未通过仅报告13m 30s80,163得分来自测试报告;没有轨迹与判分理由,无法复盘过程
Hy41 次运行0.294未通过有波动工具报错1、空结果115m 47s662,448话题未完全偏离,但助手在可见回复中未对PHQ-9、AUDIT、GAF、血锂等量表/数值进行任何解读或风险分层,也没有识别关键矛盾点,因此数值准确性为0。
MiniMax-M3.1-Flash1 次运行0.280未通过有波动超时4、工具报错2、空结果74m 44s1,323,732The assistant's conversation ends without providing a final synthesized response. While it successfully retrie…
step-5-preview1 次运行0.232未通过有波动超时2、工具报错11、空结果104m 49s614,423助手最终未给出任何量表分值或数值参数的解读判断,因此按规则判为0分。
GLM 5.3测试报告0.232未通过仅报告3m 50s439,089得分来自测试报告;没有轨迹与判分理由,无法复盘过程
GLM-5.3-Flash测试报告0.224未通过仅报告3m 40s313,613得分来自测试报告;没有轨迹与判分理由,无法复盘过程
ernie-5.5-flash-preview1 次运行0.200未通过有波动工具报错9、空结果92m 51s748,923
表中标注「仅报告」的 7 个对象(Qwen3.8-Flash(xhigh)、mimo-v2.6-pro-ultraspeed、deepseek-v4.1-flash-1017、Qwen3.8-Max(xhigh)、Kimi-K3(max)、GLM 5.3、GLM-5.3-Flash)没有轨迹文件,得分、耗时、Token 取自各自的测试报告 PDF,没有判分理由与过程信息,因此不参与下面的共性错误归因。

4. 多对象出错统计

共性错误按影响对象数排序,特例单列
环境
一轮接一轮检索都是空结果,始终核不到官方规范原文 12 个对象
涉及对象:Hy4、LongCat-2.5、MiniMax-M3.1-Flash、claude-opus-5-5、claude-sonnet-5.5、ernie-5.5-flash-preview、gemini-4-carbon、gpt-6-astra、gpt-6.1-sol、kimi-k3.1-pro、spark-x2.6、step-5-preview
原因:这道题要引国内现行规范,但检索源整题失效,12个已判分对象合计出现99次「联网没抓到任何结果」,另有大量412、404、500、403报错和网关超时,助手要么凭记忆硬答、要么反复换关键词重试,规范依据这一块普遍站不住。
能力
跑到25轮上限仍没交出最终成稿,停在检索和抓取阶段 4 个对象
涉及对象:Hy4、MiniMax-M3.1-Flash、ernie-5.5-flash-preview、step-5-preview
原因:检索长时空转后助手没有收敛成一篇回答,而是继续换渠道重试,轮次上限耗尽时对话里仍无可用的成稿,完整性、实用性两个维度几乎归零,得分落在0.2到0.2944之间。
能力
只泛泛谈风险,不解读PHQ-9、AUDIT、GAF和血锂的具体数值 3 个对象
涉及对象:Hy4、spark-x2.6、step-5-preview
原因:对象把力气都花在找规范和给通用建议上,没有对着用户给的分值做风险分层,也没指出AUDIT 14分可能低估实际饮酒严重度、PHQ-9 8分可能低估当前风险,数值维度被直接判0或0.4。
能力
信息收集被动,用户不主动说就不追问基础条件 2 个对象
涉及对象:gemini-4-carbon、spark-x2.6
原因:首轮问完共病类型、转介目的、地区就转入给建议,性别年龄、完整用药、住院时长、社会支持、社区接收能力这些没主动核,判分归因为「信息收集较被动」,这一维度只拿到0.5和0.4。
能力
检索失败既不向用户说明也不换策略,直接按经验作答 1 个对象
涉及对象:gemini-4-carbon
原因:多次检索都没结果,助手没提「查不到」也没调整办法,最终回答里引用的指南名称、社区风险分级和量表推荐都存时效与准确性的疑问,内容质量被压到0.6。

特例

LongCat-2.5
以0.8504通过,但留下的最终回答是「文档已生成,格式整体不错,我注意到入院日期行的排版有换行问题,帮您修正一下」,通篇看不到对规范、预警指标和量表的正面回应,通过依据更像是交出了一份文档,而不是答题答得好。
gemini-4-carbon
已判分对象里耗时最短、最省的一个,只用了38.64秒、8轮、4.4万tokens就收尾,得分0.7492却判不通过,两条判分理由都指向「只凭用户已给的信息作答、不主动追问」和「检索失败不说明」,是贴着通过线的边界样例。
kimi-k3.1-pro
耗时492.08秒是已判分对象中最长的,但只用了8轮、11.2万tokens就拿到0.9396一次通过,说明这题更吃「少绕弯、直接给结构化方案」,而不是查得久、耗得多。

非能力因素记录(本题被选中的那次运行)

资源、网络、额度、判分链路的问题,不应算作答题能力。

Hy4
工具报错 1 次;联网检索空结果 11 次
LongCat-2.5
工具等待超时 1 次;工具报错 9 次;联网检索空结果 6 次
MiniMax-M3.1-Flash
工具等待超时 4 次;工具报错 2 次;联网检索空结果 7 次
claude-opus-5-5
工具报错 1 次;联网检索空结果 5 次
claude-sonnet-5.5
联网检索空结果 10 次
ernie-5.5-flash-preview
工具报错 9 次;联网检索空结果 9 次
gemini-4-carbon
联网检索空结果 5 次
gpt-6-astra
工具报错 2 次;联网检索空结果 11 次
gpt-6.1-sol
工具报错 1 次;联网检索空结果 10 次
kimi-k3.1-pro
联网检索空结果 7 次
spark-x2.6
工具等待超时 2 次;工具报错 5 次;联网检索空结果 23 次
step-5-preview
工具等待超时 2 次;工具报错 11 次;联网检索空结果 10 次
归因:总体看,低分主要来自测试对象自身的能力与策略,约50%;环境因素约35%;题目设计约15%。依据是6个失分对象里,gemini-4-carbon(0.7492)和spark-x2.6(0.7248)的判分理由直接指向不主动追问、不解读量表分值,属能力问题;Hy4(0.2944)、MiniMax-M3.1-Flash(0.28)、step-5-preview(0.232)和ernie-5.5-flash-preview(0.2)则是检索空转后耗尽25轮仍无终稿,环境把本来能答的题变成了没答。反过来,6个通过对象在同样检索全空的条件下凭临床知识拿到0.8504到0.9616,说明主要差距仍在能力一侧。

5. 题目质量问题

只有数据里真有证据才列入
高
题目高度依赖联网核实现行规范,但检索链路整题失效
证据:12个已判分对象合计出现99次「联网检索没抓到任何结果」,还有HTTP 412、404、500、403报错与工具网关超时;没有任何对象引到可核对的官方原文,连0.9616的对象也在回答里声明「没有经过检索确认」。
建议:把严重精神障碍管理治疗工作规范、精神障碍社区康复服务工作规范等原文预置进工作区作为可引用材料,或明确允许离线作答并把检索失败单列为环境扣分项,不与能力分混算。
中
评分要求大于用户实际提问范围
证据:用户只问了规范和推荐量表,数值维度却要求逐项解读PHQ-9 8分、AUDIT 14分、GAF 45到58、血锂0.6,完全不解读就判0(Hy4、step-5-preview因此拿0分);内容维度还额外要求交接清单和随访频次。
建议:在提问里补一句「请结合我给的分值说说风险」,或把数值维度收窄到被问到量表的推荐理由与预警阈值,不因没主动解读全部数值就判0。
中
轮次上限与回答质量混在一起算
证据:MiniMax-M3.1-Flash用到25轮、132.4万tokens,step-5-preview用到25轮、61.4万tokens,都在轮次耗尽时仍无终稿,得0.28和0.232;而内容质量维度并不区分「没来得及答」和「答得不好」。
建议:单设一个「是否收敛成稿」的指标,或给检索重试设次数上限,把卡死和答得差分开计分。
一句话结论:这题确实考出了「能不能边追问边把共病患者的社区转介讲清楚」,但检索链路整题失效、评分要求又超出用户提问,低分里混着不少「没查到」和「没来得及答」的噪声。
← 返回题目分析总览