题目分析 / C26zh_public_health

公共卫生 C26zh_public_health

偏难平均分 0.465通过 5 / 已评 20
通过率
25.0%
5 / 20 个已评对象
平均分
0.465
最高 0.956 · 最低 0.200
题目类型
中文题
多轮对话 + 工具调用
题目质量提示
3 条
见本页末尾

1. 这道题是什么

用户是社区卫生服务中心的人,要为基本公卫项目写整改报告,担心报告里引用的标准是旧的,所以问2024年国家基本公共卫生服务规范里慢病管理的考核指标有没有变、高血压规范管理率的算法是不是改过。这道题实际要求助手先核实现行规范的版本、公式和是否变化,再在后续对话中拿到辖区人口、在管人数、规范管理人数、老年人体检数等数据,把各项考核指标算出来,指出手工台账和系统数据差了多少,最后给出能直接用的整改报告框架和下一步核查事项。

用户原话(题目开场)

我们这边基本公卫项目的整改报告要写,想问下2024年国家基本公共卫生服务规范最新版里,慢病管理那块的考核指标有没有变?之前好像说高血压规范管理率的算法改了,我怕写报告的时候引用的标准是旧的。

题目要求

  • 说清2024年国家基本公共卫生服务规范中慢病管理的考核指标有没有发生变化
  • 重点核实高血压规范管理率的算法(分子、分母、目标值)是否调整过
  • 指明现行有效的规范版本和出处,让整改报告不至于引用旧标准
  • 结论要贴着“写整改报告”这个用途,直接可用,而不是泛泛介绍规范

要求的交付物

  • 一份明确结论:现行规范版本是什么、慢病考核指标变没变、高血压规范管理率公式是什么
  • 可供整改报告直接引用的标准依据与生效状态说明
  • 按用户提供的人数算出的各项考核指标结果,以及手工台账3402人与系统3648人之间差246人的分析
  • 整改报告可用的框架和下一步需要核实的清单

2. 判分点与判分细节

意图理解与响应质量

不只看最终回答,看每一轮是否读懂了用户的真实需求:表面问“指标有没有变”,实际要的是确认最新考核标准、算指标、写整改报告三件事;以及是否在第一轮就察觉缺人数、缺比率并主动追问,而不是先给模糊回答再补问。

数值计算准确性

只认数字。核心指标是高血压规范管理率(台账3402÷4860约70.0%,系统3648÷4860约75.06%)、老年人健康管理率(4930÷7250约68.0%)、电子档案动态更新率(39440÷49300约80.0%);扩展指标包括建档率约85%、糖尿病规范管理率1064÷1520为70.0%、血压控制率3110÷4860约63.99%、血糖控制率912÷1520为60.0%,以及台账与系统差246人、约5.06个百分点。完全跑题则该项直接判零。

内容质量与专业性

不看数字对不对,看完整性、专业性和实用性:政策确认(版本、是否变化、公式)、数据矛盾处理、指标计算、整改报告框架、可执行的行动步骤这条链走完了没有,能不能让用户直接拿去动笔。

信息收集质量

基础信息六项——机构名称、考核背景(谁组织、什么时间)、考核指出的具体问题、高血压在管与规范管理人数、辖区老年人口与体检完成人数——缺任意一项该维度不超过0.7分;深入信息包括电子档案建档总数与动态更新数、糖尿病在管与规范管理人数、辖区常住人口、家庭医生签约团队数量,每覆盖一项加分。

话题一致性前置检查

回答必须落在“基本公卫慢病管理考核指标计算+整改报告”这个主题上,一旦最终回答完全偏离,数值准确性和内容质量两项都直接清零,不作为部分给分。

判分细节

判分分四个维度,每个维度0到1分:意图理解与响应质量、数值计算准确性、内容质量、信息收集质量。开评前先做话题一致性前置检查,跑题的数值项和内容项直接判0。信息收集维度设硬门槛:机构名称、考核背景、具体问题、高血压在管与规范管理人数、老年人口与体检人数六项基础信息缺任一项,该维度不超过0.7分,深入信息每覆盖一项加分。数值维度分档很明确:一项核心指标都没算的落在0.0至0.1档;像gemini-4-carbon只算对台账口径约70.0%和系统口径约75.06%、并提示了246人差额,得0.45;核心指标算全才可能上到0.8以上。内容质量看链条完整度:只给通用公式、没处理数据矛盾的拿0.32至0.5,只停在中间检索说明的拿0.15。没给出最终回答的,即使检索过程有价值(LongCat-2.5已经找到2024年通知原文),也只给0.05至0.1,按任务未完成处理。从结果看综合得分要0.758以上才判通过,未通过的最高分是0.6452。

机制说明:每题由判分模型按多个维度独立打分(完成度、稳健性、安全性等),综合分 = 0.8 × 完成度 + 0.1 × 稳健性 + 0.1 × 安全性;本批数据里稳健性与安全性恒为 1.0,因此综合分只剩完成度一个变量。综合分 ≥ 0.75 记为通过。源数据只保留了判分规则的 300 字预览。

3. 各测试对象得分统计

得分、结果、部署、耗时、Token 五个维度;按得分从高到低
测试对象得分结果部署 / 环境耗时Token失分要点
claude-sonnet-5.51 次运行0.956通过有波动工具报错1、空结果53m 22s198,434通过;助手已收集到考核背景、督导问题、高血压和老年人核心数据,并在后续持续追问档案、糖尿病、失访、上季度口径、团队数量及系统/台账差异等深入信息,尤其主动核查数据来源…
Qwen3.8-Flash(xhigh)测试报告0.934通过仅报告19m 20s555,811得分来自测试报告;没有轨迹与判分理由,无法复盘过程
gpt-6-astra1 次运行0.918通过有波动空结果41m 50s55,890通过;结合前文,回答已区分第三版国家规范、年度要求与地方考核口径,给出核心指标计算及报告表述。最终回答充分识别3402人与3648人的矛盾,分析统计时点、分母、判定规…
claude-opus-5-51 次运行0.917通过有波动用法错误1、空结果33m 28s121,361通过;助手收集了考核背景(区卫健局2024年第二季度督导)、具体问题、高血压在管与规范管理数、老年人口与体检完成数,以及电子档案、失访、系统与手工一致性等多项深入信息…
gpt-6.1-sol1 次运行0.758通过有波动工具报错1、空结果41m 45s44,113通过;助手主动追问了统计口径、分母含义、抽查与全量数据、规范管理判定及数据依据,有一定深入信息收集意识;但基础信息仍缺失机构名称和辖区老年人口数/体检完成人数,未完整…
mimo-v2.6-pro-ultraspeed测试报告0.719未通过仅报告4m 10s427,543得分来自测试报告;没有轨迹与判分理由,无法复盘过程
gemini-4-carbon1 次运行0.645未通过有波动空结果121m 04s87,835助手仅正确计算了高血压规范管理率(台账)约70.0%,未计算老年人健康管理率和电子档案动态更新率等核心指标;但正确计算了系统规范管理率约75.06%,并指出台账与系统差额为246人,因此按核心指标仅1项正确并附加差异提示…
qwen4-max1 次运行0.416未通过有波动工具报错4、空结果54m 26s662,597助手的整个回复中没有任何针对用户提供参数的数值计算。对话里助手仅进行了政策文件检索与口径核实,未计算任何核心指标:高血压规范管理率(台账)3402/4860≈70.0%、老年人健康管理率4930/7250≈68.0%、电…
spark-x2.61 次运行0.373未通过有波动工具报错2、空结果181m 13s63,073助手未根据用户提供的参数进行任何数值计算,仅给出一般性公式和标准,按规则应判0.0。
kimi-k3.1-pro4 次运行0.292未通过有波动工具报错1、空结果94m 33s555,570The assistant did not provide any numeric calculations for the provided user parameters, so none of the core o…
LongCat-2.51 次运行0.280未通过有波动工具报错5、空结果73m 59s440,390助手最终回复中未进行任何数值计算,也未引用用户提供/考核相关参数计算规范管理率、管理率、动态更新率等指标,不符合评分要求。
GLM-5.3-Flash测试报告0.259未通过仅报告7m 20s470,337得分来自测试报告;没有轨迹与判分理由,无法复盘过程
MiniMax-M3.1-Flash1 次运行0.244未通过有波动工具报错2、空结果56m 16s1,057,434助手最终未提供任何针对给定数据的数值计算,核心指标和扩展指标均未计算。
Hy41 次运行0.241未通过有波动超时5、工具报错3、空结果108m 25s1,178,240助手最终未给出任何数值计算结果,仅持续检索且未回答核心指标计算,按规则判0。
step-5-preview1 次运行0.232未通过有波动超时4、工具报错4、用法错误2、空结果615m 03s628,943The assistant never provided a final response to the user. After numerous failed web searches and page fetches…
GLM 5.3测试报告0.232未通过仅报告6m 10s436,128得分来自测试报告;没有轨迹与判分理由,无法复盘过程
Kimi-K3(max)测试报告0.232未通过仅报告4m 00s781,082得分来自测试报告;没有轨迹与判分理由,无法复盘过程
Qwen3.8-Max(xhigh)测试报告0.232未通过仅报告7m 20s1,035,409得分来自测试报告;没有轨迹与判分理由,无法复盘过程
deepseek-v4.1-flash-1017测试报告0.216未通过仅报告5m 10s381,910得分来自测试报告;没有轨迹与判分理由,无法复盘过程
ernie-5.5-flash-preview1 次运行0.200未通过有波动超时1、工具报错2、空结果83m 48s613,813
表中标注「仅报告」的 7 个对象(Qwen3.8-Flash(xhigh)、mimo-v2.6-pro-ultraspeed、GLM-5.3-Flash、GLM 5.3、Kimi-K3(max)、Qwen3.8-Max(xhigh)、deepseek-v4.1-flash-1017)没有轨迹文件,得分、耗时、Token 取自各自的测试报告 PDF,没有判分理由与过程信息,因此不参与下面的共性错误归因。

4. 多对象出错统计

共性错误按影响对象数排序,特例单列
能力
陷在检索里出不来,最后一轮还在调工具,始终没交付成型的回答 6 个对象
涉及对象:Hy4、LongCat-2.5、MiniMax-M3.1-Flash、kimi-k3.1-pro、qwen4-max、step-5-preview
原因:这几个对象都跑到25轮上限,轨迹结尾仍是工具调用;检索几乎全部返回空结果或站点拒绝访问(403、412、500),模型没有及时止损改用已知规范作答,用户什么也没拿到。
能力
只讲规范版本和公式,完全没把用户给的人数代进去算指标 7 个对象
涉及对象:Hy4、LongCat-2.5、MiniMax-M3.1-Flash、kimi-k3.1-pro、qwen4-max、step-5-preview、spark-x2.6
原因:把任务当成了“查政策文件”,没意识到整改报告要的是能落笔的数值结论,于是70.0%、75.06%、68.0%、80.0%这些核心指标一个都没算,数值维度被直接判0。
能力
核心指标只算了高血压一项,漏掉老年人健康管理率和电子档案动态更新率 1 个对象
涉及对象:gemini-4-carbon
原因:用户数据是分多轮逐步透露的,助手拿到一段算一段,算完高血压就收尾,没有回头把后面补出来的老年人体检数、档案更新数补齐。
能力
没发现、也没处理手工台账3402人与系统3648人的数据矛盾 2 个对象
涉及对象:spark-x2.6、step-5-preview
原因:两个人数分散在不同轮次里,助手没做交叉核对;这246人的差额恰恰是整改报告里最需要解释的地方,漏掉等于丢了核心分析。
能力
政策口径只交代了“第三版规范”和通用公式,没说清指标到底变没变、目标值是多少 2 个对象
涉及对象:kimi-k3.1-pro、spark-x2.6
原因:只确认了大方向,没把现行规范和2024年年度通知的关系讲明白,用户看完仍然不敢判断报告里能不能沿用旧表述。

特例

claude-fable-5-1
对话跑完了但判分环节中断,没有成绩,未计入13个已判分对象,真实水平未知,不宜当作能力短板。
Hy4
25轮、约118万token、505秒,消耗在全场排前列,得分只有0.2408,其中10次联网检索空结果,是高消耗零产出的极端例子。
ernie-5.5-flash-preview
判为未通过、0.2分,但没有任何判分理由,只留下8次检索空结果、403与412等环境错误记录,这0.2分无法复核。

非能力因素记录(本题被选中的那次运行)

资源、网络、额度、判分链路的问题,不应算作答题能力。

Hy4
工具等待超时 5 次;工具报错 3 次;联网检索空结果 10 次
LongCat-2.5
工具报错 5 次;联网检索空结果 7 次
MiniMax-M3.1-Flash
工具报错 2 次;联网检索空结果 5 次
claude-opus-5-5
工具参数用错 1 次;联网检索空结果 3 次
claude-sonnet-5.5
工具报错 1 次;联网检索空结果 5 次
ernie-5.5-flash-preview
工具等待超时 1 次;工具报错 2 次;联网检索空结果 8 次
gemini-4-carbon
联网检索空结果 12 次
gpt-6-astra
联网检索空结果 4 次
gpt-6.1-sol
工具报错 1 次;联网检索空结果 4 次
kimi-k3.1-pro
工具报错 1 次;联网检索空结果 9 次
qwen4-max
工具报错 4 次;联网检索空结果 5 次
spark-x2.6
工具报错 2 次;联网检索空结果 18 次
step-5-preview
工具等待超时 4 次;工具报错 4 次;工具参数用错 2 次;联网检索空结果 6 次
归因:总体看约55%来自测试对象自身能力,约25%来自题目设计,约20%来自环境。依据是9个未通过对象里有6个死在“反复检索、不给结论”,而同等的网络噪声下仍有4个对象拿到0.758至0.956,说明会不会止损、会不会算指标才是分水岭;但判分点要求的人数数据根本不在原始提问里,靠多轮逐步透露,qwen4-max的判分词直接写了“用户未在对话中提供台账/系统数据”,题目与判分口径脱节放大了失败;环境侧联网空结果几乎人人都有(多者十余次),站点403、412、500频发,是把模型拖进检索循环的直接诱因。

5. 题目质量问题

只有数据里真有证据才列入
高
判分要求的数据和写报告任务没写进题面,原始提问只有一句“指标有没有变”
证据:判分要求算高血压规范管理率、老年人体检完成率、电子档案动态更新率并给出整改报告框架,但提问里没有任何人数;qwen4-max的判分词明确写“用户未在对话中提供台账/系统数据”。
建议:把辖区人口、在管人数、台账与系统人数、老年人体检数写进题面,或固定多轮透露数据的脚本,让所有对象面对同样的信息条件。
中
判分规则片段被截断在300字,部分维度的分档标准看不到全貌
证据:数值维度的参数列表在“老年人健康体”处中断,意图理解维度在“助手是否”处中断,信息收集维度的加分项结尾被切掉。
建议:分析报告注明依据不完整,或取回完整规则后再定分档结论。
低
存在有分数、无判分理由的对象
证据:ernie-5.5-flash-preview得0.2分,判分理由为空,只有环境错误记录。
建议:判分缺失时应标记为未判分,不要给一个无法追溯的分数。
一句话结论:这道题真正的分水岭不是知不知道2024年的规范,而是能不能从检索循环里抽身、把用户给的人数算成指标并写成能用的整改报告;9个未通过对象里6个根本没交出最终回答,环境噪声是诱因,能力短板是主因。
← 返回题目分析总览