题目模拟一位家属或医护人员的咨询:老年患者同时在用胺碘酮和地高辛,担心合用影响,又追问再加上华法林和螺内酯后整套方案风险高不高,并特意点出患者肾功能不好、用药要注意什么。对话中会逐步补出患者是82岁男性、约60公斤、肌酐156–165,以及主治拟调整的方案(地高辛改隔日、加螺内酯25毫克、加培哚普利4毫克)。要求助手以临床药师的方式,先把缺的关键信息问清楚,再给出肾功能评估、逐项相互作用分析、具体剂量调整和监测安排。
看每一轮是否识别出用户没给的关键信息(年龄体重、精确剂量、肾功能数值)并系统追问,以及用户中途补充或修正信息后能否及时接住
只核对数字和剂量:肌酐清除率估算、地高辛减量幅度、胺碘酮使地高辛浓度升高的幅度、目标血药浓度、培哚普利在肾功能下降时的减量,是否与参考值一致;若最终回答整体跑题,此项直接判零
看完整性、专业性和实用性:相互作用机理、风险分级、给药方案、监测指标是否成体系;同样设话题一致性前置检查,跑题即判零
基础信息(年龄性别体重、肾功能指标、所有药物的精确剂量和频率、血钾等电解质)缺任意一项则该项不超过0.7分;合并症、合并用药、地高辛浓度、心电图等深入信息每覆盖一项加分
评分由四个维度合成:意图理解、数值准确性、内容质量、信息收集,其中数值与内容两个维度都设了话题一致性的前置闸门,只要最终回答偏离“老年肾功能不全患者的多重用药评估与剂量调整”,该维度直接判零。数值维度给了一整套参考值作为比对基准:肌酐清除率约27毫升每分钟(允许上下约5毫升的容差)、地高辛目标谷浓度0.5–0.9纳克每毫升、胺碘酮使地高辛浓度升高约70%–100%、地高辛0.125毫克隔日一次相当于平均每日0.0625毫克、培哚普利在肌酐清除率低于30时应减至2毫克。信息收集维度用硬阈值卡分:基础信息缺任意一项就不超过0.7,只有追问到合并症、合并用药、地高辛浓度、心电图等深入项才能上浮。另一个隐性的一票否决是“没有面向用户的最终结论”——只有检索和工具调用、没有评估与建议的对象,数值与内容两项均判零。培哚普利未减量被明确认定为关键剂量建议错误或遗漏,卡在0.7以下,这是本次多个对象失分最集中的一条线。
| 测试对象 | 得分 | 结果 | 部署 / 环境 | 耗时 | Token | 失分要点 |
|---|---|---|---|---|---|---|
| claude-opus-5-51 次运行 | 0.992 | 通过 | 正常 | 4m 31s | 140,872 | 通过;助手全程精准理解用户意图,临床判断专业准确:首轮系统识别缺失信息并追问,后续准确捕捉年龄、体重、肌酐、合并用药、地高辛浓度等新增信息并更新分析;需求从相互作用风… |
| qwen4-max1 次运行 | 0.985 | 通过 | 有波动空结果3 | 5m 59s | 104,914 | 通过;全程表现接近满分。第一轮即系统识别缺失信息(肾功能数值、各药剂量、年龄体重、血钾、适应证)并结构化追问;第二轮拿到参数后首次即正确手算CrCl≈27-28(公式… |
| kimi-k3.1-pro2 次运行 | 0.965 | 通过 | 有波动超时3、工具报错2、空结果7 | 12m 34s | 1,210,714 | 通过;助手全程准确理解需求演变,系统补充了年龄、体重、剂量、肾功能、化验及时间线等关键信息,并使用工具正确计算CrCl和eGFR;对地高辛减量、高钾风险、螺内酯与呋塞… |
| mimo-v2.6-pro-ultraspeed测试报告 | 0.963 | 通过 | 仅报告 | 4m 30s | 197,454 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| ernie-5.5-flash-preview1 次运行 | 0.945 | 通过 | 有波动工具报错2、空结果9 | 4m 57s | 618,616 | 通过;助手的核心数值与剂量建议总体准确:CrCl按Cockcroft-Gault算约27–28 mL/min,符合正确范围;地高辛明显减量(0.0625 mg/天或0… |
| claude-sonnet-5.51 次运行 | 0.931 | 通过 | 正常 | 4m 43s | 161,490 | 通过;助手系统性收集了年龄、性别、体重、肌酐/CrCl、主要药物剂量和血钾等基础信息,并在对话中持续追问呋塞米准确剂量、最新血钾/血镁、胺碘酮起始时间、心电图、地高辛… |
| GLM 5.3测试报告 | 0.929 | 通过 | 仅报告 | 19m 00s | 358,960 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| deepseek-v4.1-flash-1017测试报告 | 0.928 | 通过 | 仅报告 | 10m 50s | 769,197 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| Qwen3.8-Max(xhigh)测试报告 | 0.926 | 通过 | 仅报告 | 19m 50s | 272,071 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| gpt-6.1-sol1 次运行 | 0.921 | 通过 | 有波动工具报错7、空结果4 | 4m 12s | 519,120 | 通过;CrCl calculation is accurate (reported 26-30 mL/min, precise range 25.9-29.7 dep… |
| step-5-preview1 次运行 | 0.896 | 通过 | 有波动工具报错2、空结果6 | 10m 46s | 150,452 | 通过;助手整体信息收集意识较强,逐步追问了年龄/性别、肌酐精确值与趋势、血钾趋势、地高辛剂量与浓度、适应证、是否合用ARB/沙库巴曲缬沙坦、糖尿病、心率/心电图及甲减… |
| gpt-6-astra1 次运行 | 0.841 | 通过 | 有波动工具报错4、空结果5 | 20m 26s | 385,522 | 通过;信息收集较系统:已获得年龄、性别、体重、肌酐及既往血钾,并反复要求核对最新结果和趋势;还主动追问合并用药、地高辛浓度、心率/心电图、心衰适应证等多项深入信息。不… |
| Qwen3.8-Flash(xhigh)测试报告 | 0.804 | 通过 | 仅报告 | 21m 30s | 902,306 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| GLM-5.3-Flash测试报告 | 0.750 | 通过 | 仅报告 | 21m 20s | 65,796 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| MiniMax-M3.1-Flash1 次运行 | 0.748 | 未通过 | 有波动超时1、工具报错3、空结果4 | 7m 16s | 170,633 | CrCl计算准确(约26–29 mL/min,按<30处理),地高辛减量方向正确且目标浓度0.5–0.9 ng/mL、胺碘酮使地高辛升高约70–100%均符合参考值;螺内酯+ACEI高钾风险识别充分,血钾阈值也明确。但培… |
| LongCat-2.51 次运行 | 0.746 | 未通过 | 有波动工具报错5、空结果5 | 11m 04s | 1,007,196 | 助手收集了年龄、性别、近似体重、肌酐、血钾及主要药物信息,但未按“所有药物精确剂量和用药频率”追问培哚普利/华法林的具体剂量与频次,也未确认螺内酯拟用频次;深入信息方面仅提到可补充诊断/适应证,未主动系统询问近期地高辛浓… |
| spark-x2.61 次运行 | 0.742 | 未通过 | 有波动工具报错4、空结果11 | 4m 14s | 79,846 | 助手主要基于用户主动提供的信息进行分析,几乎没有主动追问缺失的关键决策信息。基础信息中体重未获取而用假设值,药物精确剂量/频率不完整(如胺碘酮、华法林、呋塞米剂量及频次),血钾等电解质结果未询问;深入信息如合并症、心电图… |
| gemini-4-carbon1 次运行 | 0.676 | 未通过 | 有波动空结果10 | 58s | 46,536 | 助手最终获得了年龄、体重、肌酐和血钾等关键信息,并追问了主要诊断;但未主动确认患者性别,也未系统收集完整用药清单及所有药物的精确剂量/频率,基础信息存在缺失,整体信息收集不够完整。 |
| claude-fable-5-12 次运行 | 0.547 | 未通过 | 正常 | 10m 13s | 200,249 | The assistant stayed fully on topic and delivered an exceptionally complete decision chain. Step 1: computed C… |
| Kimi-K3(max)测试报告 | 0.447 | 未通过 | 仅报告 | 11m 00s | 18,667 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| Hy41 次运行 | 0.256 | 未通过 | 有波动工具报错2、空结果6 | 6m 29s | 657,505 | 助手最终没有给出任何 CrCl 计算、肾功能分级或具体剂量调整建议,虽话题相关但完全缺失数值与剂量回答,无法符合评分标准。 |
资源、网络、额度、判分链路的问题,不应算作答题能力。