用户以临床或社工身份,要为一位住院68天、双相II型合并酒精依赖的34岁男性患者办社区转介,先问国内对这类共病患者的社区随访有没有规范或专家共识,重点问危机预警指标和推荐量表。随后用户分成几轮陆续补上诊断、用药、量表分、血锂值、饮酒与两天未睡、三年前割腕等信息。助手需要边追问缺失条件边修正判断,最终交出一套能落地的转介与随访建议。
逐轮看助手有没听懂用户问的是国内规范和量表,第一轮是否就察觉信息缺口并主动追问,而不是先给一段笼统回答;用户后面透露饮酒、失眠、自伤史时,助手有没抓到这些信息的临床意义并调整方案。
只看对数值的解释对不对,不看建议好坏:PHQ-9 8分、AUDIT 14分、GAF住院时45分与出院前58分、血锂0.6 mmol/L、碳酸锂0.9 g/d、拉莫三嗪100 mg/d、住院68天。最终回答若完全跑题,这一项直接判0。
看完整性、专业性和可用性:有没有讲清国内规范的适用层级,有没有系统列出危机预警指标和推荐量表,有没有针对共病做个性化风险分层,有没有形成交接清单和随访频次建议;数值对错不在此项计分。
基础信息包括患者基本信息与共病类型、用药方案与住院时长、出院量表结果与当前临床状态、社会支持系统四组,缺任何一组得分不超过0.7;用药依从性、近期行为事件等深入信息每覆盖一项加分。
四个维度各自独立计分,分别是对话响应质量、数值准确性、内容质量和信息收集,彼此不能互相补分。数值与内容两个维度都设了话题一致性前置检查,最终回答只要偏离「共病患者的社区转介与随访」,该维度直接判0。信息收集有硬门槛:患者基本信息与共病类型、用药与住院时长、出院量表结果与当前状态、社会支持四组缺一组,得分上限就是0.7。数值维度还有一条近乎一票否决的规则,最终回答只要完全没解读给定的量表分和化验值就判0,有两个对象正是因此拿到0分。判分特别盯共病的个性化风险分层、血锂值的时效性,以及AUDIT 14分、PHQ-9 8分可能低估实际风险这类矛盾点。
| 测试对象 | 得分 | 结果 | 部署 / 环境 | 耗时 | Token | 失分要点 |
|---|---|---|---|---|---|---|
| claude-opus-5-51 次运行 | 0.962 | 通过 | 有波动工具报错1、空结果5 | 4m 36s | 102,321 | 通过;助手在整个对话中表现出色。第一轮就主动检索并识别关键信息缺失(共病组合、主诊断、自杀史、接收方、地区),并在回答后追问。后续每轮都准确捕捉新增信息的临床意义并动… |
| Qwen3.8-Flash(xhigh)测试报告 | 0.951 | 通过 | 仅报告 | 17m 21s | 305,080 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| mimo-v2.6-pro-ultraspeed测试报告 | 0.941 | 通过 | 仅报告 | 6m 10s | 263,600 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| kimi-k3.1-pro2 次运行 | 0.940 | 通过 | 有波动空结果7 | 8m 12s | 112,152 | 通过;基础信息最终收集完整:性别年龄、双相情感障碍Ⅱ型合并酒精依赖、住院时长、当前用药及量表结果、就业与社区接收机构均已明确。助手也主动追问过共病类型、严重精神障碍管… |
| claude-sonnet-5.51 次运行 | 0.918 | 通过 | 有波动空结果10 | 3m 03s | 89,878 | 通过;助手整体很好地跟踪了用户意图演变:从宏观规范到个案转介方案,再到血锂可靠性。多轮中主动识别缺失信息并追问,能准确捕捉近期饮酒、睡眠减少和自伤史对风险分层的影响,… |
| gpt-6.1-sol1 次运行 | 0.909 | 通过 | 有波动工具报错1、空结果10 | 4m 15s | 82,525 | 通过;助手在首轮进行了必要澄清,询问了共病类型、地区/接收机构、当前危机及近期事件,使基本转介信息最终齐全。但对深入信息中关键项的主动追问不足,尤其未明确追问锂盐依从… |
| gpt-6-astra1 次运行 | 0.883 | 通过 | 有波动工具报错2、空结果11 | 2m 38s | 67,526 | 通过;血锂0.6 mmol/L可处于维持治疗范围的解读正确,并准确指出两周前结果不能代表近期饮酒、依从性变化后的浓度,脱水可能使血锂升高,需复查。也识别了低抑郁评分不… |
| deepseek-v4.1-flash-1017测试报告 | 0.873 | 通过 | 仅报告 | 14m 20s | 764,666 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| Qwen3.8-Max(xhigh)测试报告 | 0.870 | 通过 | 仅报告 | 21m 40s | 122,300 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| LongCat-2.51 次运行 | 0.850 | 通过 | 有波动超时1、工具报错9、空结果6 | 6m 14s | 561,143 | 通过;对话中基本转介要素(性别年龄、共病诊断、用药与住院时长、出院量表、社会支持/社区机构)最终在用户补充后基本齐全;助手也主动询问了共病类型和当前状态。但后续大量关… |
| gemini-4-carbon1 次运行 | 0.749 | 未通过 | 有波动空结果5 | 39s | 44,077 | 助手主要依据用户提供的个案信息给出建议,但整体主动收集信息不足。基础信息中患者诊断、用药、住院时长已由用户提供,量表/血锂信息也在后续部分提供,但助手未主动追问当前临床状态、家庭/社会支持、社区接收能力等关键项;深入信息… |
| spark-x2.61 次运行 | 0.725 | 未通过 | 有波动超时2、工具报错5、空结果23 | 8m 01s | 171,109 | 助手首轮提出了一些澄清问题(共病类型、诊断、转介目的、地区),但未系统收集基础信息:性别年龄、完整用药方案、住院时长、出院量表结果/当前临床状态、社会支持系统等均缺失。后续用户主动补充了部分深入信息(碳酸锂、睡眠减少、自… |
| Kimi-K3(max)测试报告 | 0.456 | 未通过 | 仅报告 | 13m 30s | 80,163 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| Hy41 次运行 | 0.294 | 未通过 | 有波动工具报错1、空结果11 | 5m 47s | 662,448 | 话题未完全偏离,但助手在可见回复中未对PHQ-9、AUDIT、GAF、血锂等量表/数值进行任何解读或风险分层,也没有识别关键矛盾点,因此数值准确性为0。 |
| MiniMax-M3.1-Flash1 次运行 | 0.280 | 未通过 | 有波动超时4、工具报错2、空结果7 | 4m 44s | 1,323,732 | The assistant's conversation ends without providing a final synthesized response. While it successfully retrie… |
| step-5-preview1 次运行 | 0.232 | 未通过 | 有波动超时2、工具报错11、空结果10 | 4m 49s | 614,423 | 助手最终未给出任何量表分值或数值参数的解读判断,因此按规则判为0分。 |
| GLM 5.3测试报告 | 0.232 | 未通过 | 仅报告 | 3m 50s | 439,089 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| GLM-5.3-Flash测试报告 | 0.224 | 未通过 | 仅报告 | 3m 40s | 313,613 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| ernie-5.5-flash-preview1 次运行 | 0.200 | 未通过 | 有波动工具报错9、空结果9 | 2m 51s | 748,923 |
资源、网络、额度、判分链路的问题,不应算作答题能力。