题目分析 / C24zh_fire_safety_code

消防规范 C24zh_fire_safety_code

偏难平均分 0.501通过 4 / 已评 21
通过率
19.0%
4 / 21 个已评对象
平均分
0.501
最高 0.870 · 最低 0.200
题目类型
中文题
多轮对话 + 工具调用
题目质量提示
4 条
见本页末尾

1. 这道题是什么

一位做商业空间改造的用户在消防验收前问:疏散通道的最小宽度到底是多少,只记得 GB50016 里写过但记不清条文号,同时认为甲方把通道压到 1.2 米肯定不合规。模型需要查证现行消防规范、给出条文依据,按人员密度和百人宽度指标核算所需疏散总宽度,客观判断 1.2 米是否达标。最终还要把结论整理成能直接拿去和甲方沟通的说法。

用户原话(题目开场)

商业空间改造项目消防验收,疏散通道最小宽度到底是多少?我记得GB50016里有写但具体条文编号记不清了,甲方非要压到1.2米我觉得肯定不合规

题目要求

  • 说清商业空间疏散通道的最小宽度究竟是多少,并给出对应的规范名称、版本和具体条文编号
  • 判断甲方把通道压到 1.2 米到底合不合规(用户本人倾向认为不合规,需要被客观确认或纠正)
  • 区分“疏散走道最小净宽”和“按人数计算出的所需疏散总宽度”这两个容易混淆的概念
  • 补齐面积、楼层、业态、耐火等级等关键参数,缺参数时应先向用户追问而不是直接下结论
  • 给出可直接拿去和甲方沟通的依据与建议(图纸标注尺寸与有效净宽的区别、装修侵占、预留余量、验收被查风险)

要求的交付物

  • 明确的规范条文结论:适用的规范版本、条文号以及对应的宽度限值
  • 一套可复核的疏散宽度核算:人员密度、疏散人数、百人宽度指标、所需总宽度与最小净宽
  • 对 1.2 米是否合规的明确判断,以及该判断所依赖的前提条件
  • 针对该商业改造项目的验收风险提示和整改、沟通建议

2. 判分点与判分细节

意图理解与信息补全

看是否在第一轮就发现用户只给了“商业空间”和“1.2 米”、缺少面积、楼层、业态等关键参数并主动追问;同时看规范引用是否准确(版本与条文号),是否把“疏散走道最小净宽”与“按人数计算的总宽度”分开讲,以及有没有真的用检索工具核实最新条文。

数值计算准确性

先做话题一致性检查,跑题直接记零。然后逐项核对:地上二层商业的人员密度是否为 0.43 人每平方米,380 平方米对应的疏散人数是否约 163 人(允许上下 10 人),百人宽度指标是否取 0.65 米每百人,所需总宽度是否约 1.06 米,最小净宽是否为 1.10 米。

内容质量与专业性

第一步看必备项:引用 GB50016 相关条文、算出疏散人数与所需宽度、对 1.2 米给出明确判断,缺任一项总分不超过 0.4。第二步看是否区分净宽与图纸标注尺寸(毛宽)并提示装饰侵占,这一项加分 0.15。第三步看是否指出穿后厨的疏散路线不成立、防火分隔与明火风险。第四步看规范版本效力、安全出口数量、疏散距离等延伸内容。

信息收集质量

建筑面积、所在楼层、业态类型、耐火等级四项基础信息缺任意一项不超过 0.7 分;在此基础上每多追问一项深入信息(安全出口数量与位置、通道是否穿越厨房仓库、现有图纸布局、消防审图意见)就加分;四项基础信息齐全且追问两项以上深入信息给满分。

判分细节

总分由四条维度合成:意图理解与响应、数值计算准确性、内容质量、信息收集质量,每条独立打 0 到 1 分。数值维度设了硬性闸门:话题跑偏直接记零,人员密度取错该项最高 0.3 分,完全没有任何数值计算也直接记零,因此一个数字错就可能把整题压到及格线以下。内容维度另设必备项门槛:没有条文引用、没有算出人数和宽度、没有对 1.2 米给出明确判断,任何一项缺失总分不得超过 0.4。信息收集维度同样设上限:面积、楼层、业态、耐火等级缺一项就封顶 0.7。参考结论是:地上二层商业按 0.43 人每平方米、约 163 人、0.65 米每百人核算,所需总宽约 1.06 米,最小净宽 1.10 米,所以 1.2 米在数值上其实满足最低要求,与用户“肯定不合规”的直觉相反。

机制说明:每题由判分模型按多个维度独立打分(完成度、稳健性、安全性等),综合分 = 0.8 × 完成度 + 0.1 × 稳健性 + 0.1 × 安全性;本批数据里稳健性与安全性恒为 1.0,因此综合分只剩完成度一个变量。综合分 ≥ 0.75 记为通过。源数据只保留了判分规则的 300 字预览。

3. 各测试对象得分统计

得分、结果、部署、耗时、Token 五个维度;按得分从高到低
测试对象得分结果部署 / 环境耗时Token失分要点
claude-fable-5-12 次运行0.870通过有波动空结果37m 32s91,194通过;助手的数值计算核心内容与参考值一致:百人指标0.65 m/百人(地上二层、一二级耐火)正确;疏散走道净宽下限1.10 m正确且条号5.5.18正确;按0.43人…
claude-sonnet-5.51 次运行0.813通过有波动超时1、工具报错1、空结果63m 56s100,236通过;Assistant correctly calculated the key reference values: 0.43 person/m², 163 per…
Qwen3.8-Flash(xhigh)测试报告0.791通过仅报告17m 20s294,268得分来自测试报告;没有轨迹与判分理由,无法复盘过程
GLM-5.3-Flash测试报告0.770通过仅报告38m 21s124,726得分来自测试报告;没有轨迹与判分理由,无法复盘过程
claude-opus-5-51 次运行0.732未通过正常3m 40s60,694人员密度错误地取0.60(正确应为0.43),导致疏散人数算为228人(正确约163人),计算总宽度1.48m(正确约1.06m)。最终判断1.2m内部走道不合规,但按正确计算1.2m满足最低标准(>1.10m且>1.0…
mimo-v2.6-pro-ultraspeed测试报告0.704未通过仅报告7m 10s1,955,537得分来自测试报告;没有轨迹与判分理由,无法复盘过程
MiniMax-M3.1-Flash1 次运行0.686未通过有波动超时2、工具报错11、空结果75m 18s693,955助手使用了正确的百人疏散宽度指标0.65m/百人,并算出1.2m约对应184.6人;但对380㎡地上二层商业未按正确人员密度0.43人/㎡计算,擅自采用0.6~1.2等假设密度,导致疏散人数、所需总宽度和最终合规判断均偏…
spark-x2.61 次运行0.631未通过有波动工具报错1、空结果175m 39s169,530助手给出了计算过程,百人宽度指标0.65m/百人和一般疏散走道下限1.10m基本正确,但人员密度错误采用0.60人/㎡(地上二层商业应为0.43人/㎡),导致疏散人数和所需宽度计算错误,并据此错误判断1.2m不合规;按硬…
gpt-6.1-sol1 次运行0.625未通过有波动空结果52m 08s33,241回答未偏离疏散通道宽度主题,但没有提供任何基于GB50016/GB55037的正确参考值的数值计算过程,包括人员密度、疏散人数、百人宽度指标、总疏散宽度计算等,因此按规则判定为没有任何数值计算。
gpt-6-astra1 次运行0.544未通过有波动空结果72m 34s60,245助手没有进行任何数值计算,未给出人员密度0.43人/㎡、疏散人数约163人、百人宽度指标0.65m/百人或总宽度约1.06m的计算。虽然此前提到1.10m下限,但仅引用数值不构成计算。按评分规则“没有任何数值计算”计0.…
gemini-4-carbon1 次运行0.521未通过有波动空结果636s42,484助手未对‘地上二层380㎡’按正确人员密度和百人宽度指标进行具体计算,且引用商业空间百人宽度指标为1.0m/百人(应为0.65m/百人),计算结果缺失。其结论偏向1.2m存在合规硬伤,而按参考计算1.2m数值上满足最低标…
step-5-preview1 次运行0.468未通过有波动超时1、工具报错4、空结果108m 32s763,972助手未识别并追问面积、楼层、业态等关键缺失信息;多次搜索低效且未形成准确条文引用。虽用Bash做了人数与宽度核算,但依据的条文编号表述可能有误,且最终未给出专业结论与风险提示,整体回答不完整。
GLM 5.3测试报告0.339未通过仅报告12m 30s757,462得分来自测试报告;没有轨迹与判分理由,无法复盘过程
qwen4-max1 次运行0.320未通过有波动超时2、空结果67m 08s303,528对话在助手仍在检索核实阶段即中断,助手始终未给出最终回答。除确认'GB50016第5.5.18条被GB55037-2022废止'这一条文状态信息外,助手输出中完全没有出现任何数值计算:未给出人员密度0.43人/㎡、疏散人…
kimi-k3.1-pro2 次运行0.294未通过有波动空结果92m 25s567,092回答主题相关,也识别了 GB 50016 第5.5.18条,但未给出任何规范数值计算:缺少1.10 m下限、0.43人/㎡、163人、0.65 m/百人、1.06 m计算结果,也未明确得出1.2 m满足最低标准且合规的结…
Kimi-K3(max)测试报告0.268未通过仅报告9m 00s1,140,194得分来自测试报告;没有轨迹与判分理由,无法复盘过程
Hy41 次运行0.264未通过有波动空结果83m 03s347,519助手未给出最终回答,也没有进行任何数值计算(人员密度、百人宽度指标、疏散总宽度、1.1m最低限值等),因此按0.0评分。
Qwen3.8-Max(xhigh)测试报告0.232未通过仅报告11m 40s459,264得分来自测试报告;没有轨迹与判分理由,无法复盘过程
deepseek-v4.1-flash-1017测试报告0.232未通过仅报告4m 20s418,864得分来自测试报告;没有轨迹与判分理由,无法复盘过程
LongCat-2.51 次运行0.216未通过有波动工具报错12、空结果202m 24s175,895助手没有给出最终回答,也未呈现任何疏散宽度数值计算、规范条文引用或结论,无法评估数值计算准确性;按硬性规则判为0分。
ernie-5.5-flash-preview1 次运行0.200未通过有波动空结果82m 47s903,801
表中标注「仅报告」的 7 个对象(Qwen3.8-Flash(xhigh)、GLM-5.3-Flash、mimo-v2.6-pro-ultraspeed、GLM 5.3、Kimi-K3(max)、Qwen3.8-Max(xhigh)、deepseek-v4.1-flash-1017)没有轨迹文件,得分、耗时、Token 取自各自的测试报告 PDF,没有判分理由与过程信息,因此不参与下面的共性错误归因。

4. 多对象出错统计

共性错误按影响对象数排序,特例单列
能力
完全没有做数值核算,只引条文、讲法律后果和整改建议,被数值维度直接记零 4 个对象
涉及对象:gpt-6-astra、gpt-6.1-sol、kimi-k3.1-pro、gemini-4-carbon
原因:模型把这题当成合规咨询和风险沟通,篇幅放在罚则、抽查概率和谈判策略上,跳过了人数与宽度的核算;也有人把百人宽度指标记成 1.0 米,索性不给计算过程。
环境
反复联网检索却始终没产出给用户的最终答复,对话停在查资料阶段 4 个对象
涉及对象:Hy4、LongCat-2.5、qwen4-max、step-5-preview
原因:检索源持续返回空结果(各对象记录到 6 到 20 次),模型不断换关键词重试,轮次上限耗尽,最终既没有条文结论也没有合规判断。
能力
人员密度取错(用 0.60 或自设 0.6 到 1.2 等假设值,而非 0.43 人每平方米),把疏散人数和所需宽度整体算大,进而误判 1.2 米不合规 3 个对象
涉及对象:claude-opus-5-5、spark-x2.6、MiniMax-M3.1-Flash
原因:商业营业厅人员密度是按楼层和业态查表得来的固定值,模型凭常识估算,一旦取错,后面的人数、总宽度、合规结论全错,而评分规则对密度错误设了最高 0.3 分的硬上限。
能力
没有追问缺失的关键参数,直接在参数不全的情况下作答或下结论 3 个对象
涉及对象:step-5-preview、qwen4-max、gemini-4-carbon
原因:面积、楼层、业态直接决定人员密度和百人宽度指标,缺这些参数时正确做法是先追问;不追问既丢掉信息收集维度的分,也让后面的计算无从做起。
能力
宽度的部位与限值记混(把疏散门的 1.4 米套到疏散走道上、把百人宽度指标说成 1.0 米),并在没核算前就下“肯定不合规”的绝对结论 2 个对象
涉及对象:gemini-4-carbon、spark-x2.6
原因:规范里疏散走道、疏散门、楼梯、首层外门各有不同限值,模型凭印象混用;又顺着用户“肯定不合规”的预设下判断,缺少“数值上可能合规但净宽余量不足”的分层结论。

特例

ernie-5.5-flash-preview
得 0.2 分(全组最低),用了 25 轮、约 90.4 万 token,但判分理由为空、没有最终回答节选,属于有分数无依据的样本,低分原因无法从数据中核实。
claude-fable-5-1
以 0.87 分排第一,只用了 7 轮、约 9.1 万 token,是高分对象里资源消耗最少的,说明这题可以靠直接按表核算和组织法条过线,不必依赖大量检索。
claude-opus-5-5
得 0.732 分,是 12 个未通过对象中的最高分;内容维度拿到 0.8 分,只因人员密度取 0.60 触发“密度用错最高 0.3 分”的硬上限而落榜,通过与否几乎由这一个数字决定。

非能力因素记录(本题被选中的那次运行)

资源、网络、额度、判分链路的问题,不应算作答题能力。

Hy4
联网检索空结果 8 次
LongCat-2.5
工具报错 12 次;联网检索空结果 20 次
MiniMax-M3.1-Flash
工具等待超时 2 次;工具报错 11 次;联网检索空结果 7 次
claude-fable-5-1
联网检索空结果 3 次
claude-opus-5-5
判分模型失败 1 次
claude-sonnet-5.5
工具等待超时 1 次;工具报错 1 次;联网检索空结果 6 次
ernie-5.5-flash-preview
联网检索空结果 8 次
gemini-4-carbon
联网检索空结果 6 次
gpt-6-astra
联网检索空结果 7 次
gpt-6.1-sol
联网检索空结果 5 次
kimi-k3.1-pro
联网检索空结果 9 次
qwen4-max
工具等待超时 2 次;联网检索空结果 6 次
spark-x2.6
工具报错 1 次;联网检索空结果 17 次
step-5-preview
工具等待超时 1 次;工具报错 4 次;联网检索空结果 10 次
归因:总体看约 55% 的失分来自测试对象自身能力:密度查表、按人数核算宽度、主动补参数这三件事做不稳。约 35% 来自环境:14 个已评分对象全都记录到联网检索空结果(最少 1 次、最多 20 次),4 个对象因此把轮次耗光、没交出最终答案。其余约 10% 来自题目设计:初始提问只有“商业空间”和“1.2 米”,而参考值按“地上二层 380 平方米”核算,加上新旧规范口径未统一,抬高了误判概率。两个通过者(0.87 与 0.8128)证明题目可解,但也说明能绕开检索、直接按表核算的对象才有机会过线。

5. 题目质量问题

只有数据里真有证据才列入
高
题面信息量不足以支撑评分要求的精确计算,且“未追问”与“未计算”两套扣分可能同时落在同一对象上
证据:原始提问只给了“商业空间”和“1.2 米”,没有面积、楼层、业态;而数值维度是按“380 平方米、地上二层”核算 163 人和 1.06 米。gemini-4-carbon、qwen4-max、step-5-preview 既因未追问被扣分,又因未计算被记零或压分,同一个参数缺失被罚了两次。
建议:在题面直接写明面积、楼层、业态(或把追问后用户补充的参数写进对话脚本),并把数值维度改为条件计分:先追问拿到参数再计算不扣分。
高
新旧规范口径没有统一,评分把已被替代的旧条文当作唯一正确答案
证据:qwen4-max 查到“GB50016-2014 第 5.5.18 条已被 GB55037-2022 替代”被评价为方向正确;但 MiniMax-M3.1-Flash 准确引用 GB55037 第 7.1.4 条,反而因“未引用 5.5.18、5.5.21”被扣分,评分规则仍只认 GB50016 条文号和 1.10 米。
建议:在评分规则中明确版本优先级与两版条文的对应关系,允许“以 GB55037 为主、旧规范作对照”的答案得分。
高
题目高度依赖联网核对规范原文,但评测环境的检索源长期不可用,分数里混入了网络运气
证据:14 个已评分对象全部记录到“联网检索没抓到任何结果”,最少 1 次、最多 20 次(LongCat-2.5);claude-opus-5-5、claude-sonnet-5.5 等还出现站点超时和 404、429、500。检索失败直接导致 4 个对象没能给出最终答复。
建议:把 GB50016、GB55037 的原文放进工作区离线文件供检索,或明确“查不到原文时可凭记忆作答、不因未引原文扣分”。
低
部分判分数据不完整,个别对象有分数却没有判分理由,规则与回答节选被截断,难以复盘
证据:ernie-5.5-flash-preview 得 0.2 分,但判分理由为空、无最终回答节选;四条判分规则均在约 300 字处截断(如数值维度停在“一二级”),最终回答节选也只保留了开头。
建议:补全判分理由与完整规则后再入库,或对这类样本标注“不可复盘”并从分析中剔除。
一句话结论:这道题 14 个已评分对象只有 2 个通过、平均 0.5132 分,成败几乎系于两件事:会不会按人员密度和百人宽度指标核算疏散宽度,以及检索失败时能不能果断收尾给出结论;题目本身初始参数不足、新旧规范口径不统一,又进一步放大了难度。
← 返回题目分析总览