题目分析 / C15en_structural_seismic_design

Seismic Facade Design C15en_structural_seismic_design

偏难平均分 0.550通过 6 / 已评 20
通过率
30.0%
6 / 20 个已评对象
平均分
0.550
最高 0.836 · 最低 0.232
题目类型
中文题
多轮对话 + 工具调用
题目质量提示
3 条
见本页末尾

1. 这道题是什么

用户的幕墙悬挑节点被审图以“抗震设计悬挑外挑”相关条款退图,想确认是否有更新的条文解释或“抗弯连接”例外,并追问近期规范修订是否会波及幕墙这类非结构构件。这实际上是一道多轮咨询题:模型要先澄清建筑层高、板块尺寸、恒载与设防参数,再判断被引条款(3.4.3 条)管的其实是结构整体不规则、而不是幕墙悬挑,最后给出幕墙地震作用、支座连接力和层间位移吸收的定量核算与构造建议。

用户原话(题目开场)

Hey, quick one — I got a facade detail rejected last round citing a clause about cantilever projections for seismic design and I want to check if there's been any updated commentary or exceptions for moment-resisting connections that might give me more room. I remember some recent code updates changed things but I'm not sure if it affects nonstructural elements like cladding systems.

题目要求

  • 查清被引条款的准确出处与适用范围,判断它到底有没有约束幕墙悬挑尺寸
  • 说明近期规范修订(含 2024 年局部修订)是否改动该条款,以及是否波及幕墙等非结构构件
  • 判断“抗弯或刚接连接”能否作为放宽悬挑尺寸的例外,并说明这样做会把幕墙变成结构抗侧构件的风险
  • 在多轮对话中主动补齐决策必需参数:层高、板块尺寸、幕墙恒载、设防烈度或地面加速度、建筑层数与所在楼层、悬挑深度
  • 按 GB 50011 体系(含第 13 章非结构构件、附录 M)给出量化核算,而不是泛泛谈原则
  • 给出可直接拿去和结构专业、审图沟通的结论与下一步动作

要求的交付物

  • 一份被退图节点的条文核查结论:条款编号、适用范围、是否存在更新或例外
  • 幕墙自重、地震作用、支座偏心重力弯矩、层间位移与位移角、温度伸缩量的定量计算
  • 幕墙连接构造建议(上固定下滑动、长圆孔等)与需要预留的位移量
  • 与结构专业沟通的要点清单及后续动作

2. 判分点与判分细节

信息收集完整性

看模型是不是逐轮把决策关键项补齐,而不是只问一轮就作答:幕墙类型与恒载、设防烈度或地面加速度、建筑高度与层数及所在楼层、悬挑深度、位移角数据来源。必答清单漏一项就封顶。

对话轨迹与工具使用

逐轮看理解、响应和检索质量,重点是有没有识别出用户引用的条款与悬挑尺寸要求之间的错配,以及检索失败后会不会换路径继续推进。

数值与工程计算准确性

只核对数字:单位面积地震作用与恒载、板块自重、支座偏心重力弯矩、层间位移与位移角限值、温度伸缩量是否落在容差内,不评价文风。

内容质量与专业深度

在数值之外看完整性、专业深度和实用价值:构造做法能不能落地,结论能不能直接支撑与结构专业的沟通。

主题一致性前置检查

是否始终围绕 GB 50011 下的幕墙与悬挑抗震问题展开;整体跑偏到美标(ASCE 7、IBC)或答非所问,会直接判低甚至 0 分。

判分细节

判分由四个维度组成,每项 0 到 1 分,再合成总分;评委只给分不排名,允许某一项因前置检查直接归零。数值项有明确容差:3300 除以 600 得 5.5 mm、3300 除以 550 得 6.0 mm、总位移量 11 mm,板块自重 3.60 kN、支座偏心重力弯矩 4.32 kN·m,单位面积地震作用约 0.092 与 0.32 kN 每平方米。把用户给的 3.3 米层高、0.8 kN 每平方米恒载、1.5 米乘 3.0 米板块换成 3.0 米、18 kg 每平方米、3 米乘 3 米,整串结果就会超出容差,数值项直接掉到 0 分。信息收集项带必答清单,漏任一项就上不去,只做一轮澄清的最多 0.2 分。识别出“3.4.3 条管的是结构不规则、不是幕墙悬挑”这类关键矛盾会有小额加分(有对象因此拿 0.05 分)。及格线约 0.75:0.7808 与 0.8276 通过,0.712 被判不通过。

机制说明:每题由判分模型按多个维度独立打分(完成度、稳健性、安全性等),综合分 = 0.8 × 完成度 + 0.1 × 稳健性 + 0.1 × 安全性;本批数据里稳健性与安全性恒为 1.0,因此综合分只剩完成度一个变量。综合分 ≥ 0.75 记为通过。源数据只保留了判分规则的 300 字预览。

3. 各测试对象得分统计

得分、结果、部署、耗时、Token 五个维度;按得分从高到低
测试对象得分结果部署 / 环境耗时Token失分要点
mimo-v2.6-pro-ultraspeed测试报告0.836通过仅报告12m 20s703,852得分来自测试报告;没有轨迹与判分理由,无法复盘过程
ernie-5.5-flash-preview1 次运行0.828通过有波动超时1、工具报错1、空结果83m 20s182,588通过;The assistant tracked the evolving need well, recognized the likely code-clause…
claude-opus-5-51 次运行0.819通过有波动空结果36m 09s126,844通过;The bracket and drift numbers are mostly correct (panel weight 3.6 kN, eccentric…
deepseek-v4.1-flash-1017测试报告0.799通过仅报告10m 00s210,863得分来自测试报告;没有轨迹与判分理由,无法复盘过程
gpt-6-astra1 次运行0.781通过有波动空结果51m 52s34,655通过;The response provides a useful, professionally developed bracket concept: clear…
claude-sonnet-5.51 次运行0.778通过有波动空结果66m 48s175,231通过;The assistant correctly computed several key numbers: JGJ 133 seismic pressure q…
gpt-6.1-sol1 次运行0.712未通过有波动工具报错1、空结果52m 47s88,594The answer is topically on point and gives a practical, cautious method for relating drift to guide travel and…
spark-x2.61 次运行0.655未通过有波动超时1、工具报错4、空结果257m 16s155,426The drift and thermal movement numbers are broadly correct (5.5 mm drift demand and ~2.8 mm thermal expansion)…
Qwen3.8-Flash(xhigh)测试报告0.609未通过仅报告24m 10s376,926得分来自测试报告;没有轨迹与判分理由,无法复盘过程
Qwen3.8-Max(xhigh)测试报告0.507未通过仅报告20m 00s85,000得分来自测试报告;没有轨迹与判分理由,无法复盘过程
qwen4-max1 次运行0.493未通过有波动超时1、工具报错1、空结果77m 15s547,182The assistant never delivered any numerical calculations for the GB 50011 scenario. After the user corrected t…
kimi-k3.1-pro2 次运行0.489未通过有波动空结果154m 42s697,758The assistant performed no seismic-force, bracket-connection, or inter-story-drift calculations and reported n…
LongCat-2.51 次运行0.402未通过有波动工具报错23、空结果1532m 23s289,743The assistant’s calculations used inconsistent key parameters (3.0 m story height, 18 kg/m² dead load, and a 3…
Hy41 次运行0.392未通过有波动工具报错7、空结果813m 53s628,885The assistant did not provide any numerical/engineering calculations using the supplied GB 50011 parameters; t…
gemini-4-carbon1 次运行0.389未通过有波动空结果213m 02s126,066Topic is consistent with GB 50011 facade/seismic cantilever issues, but the assistant performed no numerical o…
Kimi-K3(max)测试报告0.352未通过仅报告12m 20s54,096得分来自测试报告;没有轨迹与判分理由,无法复盘过程
GLM-5.3-Flash测试报告0.330未通过仅报告7m 50s276,288得分来自测试报告;没有轨迹与判分理由,无法复盘过程
GLM 5.3测试报告0.320未通过仅报告25m 50s205,153得分来自测试报告;没有轨迹与判分理由,无法复盘过程
step-5-preview1 次运行0.284未通过正常24m 08s201,000No assistant turns or actions are present, so there is no evidence of clarifying the vague initial query, dete…
MiniMax-M3.1-Flash1 次运行0.232未通过有波动超时1、工具报错3、空结果65m 26s443,315The assistant did not provide any numerical/engineering calculations for GB 50011 seismic facade forces, brack…
表中标注「仅报告」的 7 个对象(mimo-v2.6-pro-ultraspeed、deepseek-v4.1-flash-1017、Qwen3.8-Flash(xhigh)、Qwen3.8-Max(xhigh)、Kimi-K3(max)、GLM-5.3-Flash、GLM 5.3)没有轨迹文件,得分、耗时、Token 取自各自的测试报告 PDF,没有判分理由与过程信息,因此不参与下面的共性错误归因。

4. 多对象出错统计

共性错误按影响对象数排序,特例单列
能力
全程在做检索和澄清,始终没落到任何数值计算,规定的抗震力、支座反力、层间位移一个都没给 6 个对象
涉及对象:Hy4、MiniMax-M3.1-Flash、gemini-4-carbon、kimi-k3.1-pro、qwen4-max、step-5-preview
原因:题目考的是能不能算,模型却把动作停在查条文和列清单,没把模糊需求翻译成计算;kimi-k3.1-pro 甚至跑了 25 轮仍未收敛
能力
没有用用户给的输入参数,自行套用了一套错误数据(层高 3.0 米而非 3.3 米、恒载 18 kg 每平方米而非 0.8、板块 3 米乘 3 米而非 1.5 米乘 3.0 米) 2 个对象
涉及对象:LongCat-2.5、kimi-k3.1-pro
原因:多轮对话里参数散落在用户追问中,模型没有回填到计算口径,导致板块重量、弯矩、地震力、位移全部出容差
能力
位移和温度算对了,但漏算幕墙地震力与支座连接力,卡在中高档位上不去 2 个对象
涉及对象:spark-x2.6、gpt-6.1-sol
原因:只做了几何式的除法(位移角、伸缩量),没按非结构构件的要求把地震作用和连接承载力这条主线走完
能力
没建立 GB 50011 的规范链条(第 13 章、附录 M),有的干脆改用美标 ASCE 7 与 IBC 作答 2 个对象
涉及对象:MiniMax-M3.1-Flash、gpt-6.1-sol
原因:检索被英文语料带偏,加上没有核对现行中国规范版本,触发主题一致性前置检查后整题掉档
能力
澄清轮次过少,没问到幕墙恒载、设防烈度或地面加速度、建筑类型这些决策关键项 1 个对象
涉及对象:gemini-4-carbon
原因:只问了规范版本、悬挑性质和被引要求三项就转入作答,信息缺口没补上,后续内容只能停在原则层面

特例

step-5-preview
环境显示正常、跑了 1448 秒、记了 2 轮,但整条轨迹里没有任何助手回合和回答,判分两项只能给 0;更像运行中断,而不是答题能力不足
gpt-6.1-sol
0.712 分被判不通过,而 0.7808 分通过,说明及格线在 0.75 附近;它是边界案例,数值口径全对但缺规范链条与抗震力计算
claude-fable-5-1
对话跑完但没有判分结果,属判分环节中断,未计入通过率

非能力因素记录(本题被选中的那次运行)

资源、网络、额度、判分链路的问题,不应算作答题能力。

Hy4
工具报错 7 次;联网检索空结果 8 次
LongCat-2.5
工具报错 23 次;联网检索空结果 15 次
MiniMax-M3.1-Flash
工具等待超时 1 次;工具报错 3 次;联网检索空结果 6 次
claude-opus-5-5
联网检索空结果 3 次;判分模型失败 1 次
claude-sonnet-5.5
联网检索空结果 6 次
ernie-5.5-flash-preview
工具等待超时 1 次;工具报错 1 次;联网检索空结果 8 次
gemini-4-carbon
联网检索空结果 21 次
gpt-6-astra
联网检索空结果 5 次
gpt-6.1-sol
工具报错 1 次;联网检索空结果 5 次
kimi-k3.1-pro
联网检索空结果 15 次
qwen4-max
工具等待超时 1 次;工具报错 1 次;联网检索空结果 7 次
spark-x2.6
工具等待超时 1 次;工具报错 4 次;联网检索空结果 25 次
归因:总体归因:约 70% 来自测试对象能力,约 20% 来自环境,约 10% 来自题目本身。依据是 9 个未通过对象里有 6 个数值项直接 0 分,主因是没把模糊需求转成计算、或参数回填错误;环境方面各对象普遍遭遇 3 到 25 次检索空结果以及 HTTP 403、404、500 报错,另有 12 个对象根本没出成绩;题目方面首轮提问没带任何可算参数,却要求给出精确到小数点的作用力与位移数值。不过 4 个通过对象同样遇到大量检索空结果,仍拿到 0.78 到 0.83 分,说明环境不是决定性因素。

5. 题目质量问题

只有数据里真有证据才列入
高
首轮提问过于模糊,所有可算参数都藏在后续追问里,题面本身无法推断交付物
证据:首轮只说幕墙节点被悬挑条款退图,而判分要求给出 0.092 与 0.32 kN 每平方米、3.60 kN、4.32 kN·m、5.5 mm 等精确值;层高 3.3 米、恒载 0.8 kN 每平方米、1.5 米乘 3.0 米板块、7 度 0.10g、9 层框架第 4 层、1200 mm 悬挑都是用户后来才补的
建议:把关键参数直接写进首轮,或在题面注明评分基于多轮澄清后的完整信息,避免模型因没等到参数而空转
中
题目核心动作依赖联网查条文,但检索源持续为空、站点频繁报错,把检索能力考成了运气
证据:spark-x2.6 检索空结果 25 次、gemini-4-carbon 21 次、kimi-k3.1-pro 12 次;Hy4 另有 HTTP 500 四次、404 一次;gpt-6.1-sol 也有 500 一次
建议:预置规范条文库或允许离线依据作答,并在判分里明确检索失败后如何降级的给分规则
低
信息收集与对话轨迹两个维度都和最终数值高度耦合,同一处失误会被扣两次分
证据:Hy4 数值 0.0 与轨迹 0.2、kimi-k3.1-pro 数值 0.05 与轨迹 0.37、qwen4-max 数值 0.0 与轨迹 0.4,都是同一根因在两项上各扣一遍
建议:明确各维度权重与去重规则,例如信息收集只判是否问到,不再因没算数重复扣分
一句话结论:这是一道披着单轮咨询外衣的多轮工程核算题,13 个有效对象 4 个通过、均分 0.558,低分主因是模型停在查条文而不肯动手算,其次才是参数错用与规范选错。
← 返回题目分析总览