用户是一位要填概算表的主任建筑师,问约 45 米跨度钢网架屋盖(不含幕墙、机电)现在每平米造价大概什么行情,并提到去年听过 600 到 900 元的说法,想知道今年钢材价格波动后是什么水平、有没有近期参考数据。对话中用户逐步补充了螺栓球节点、屋面做法、荷载条件、3200 平方米总面积和 300 万预算,实际要求助手从'报行情'升级为'给出可填表的推荐单价并判断预算够不够'。评判因此覆盖意图理解与追问、需求演变跟踪、数值准确性、内容质量和信息收集五个方面。
看助手是否在第一轮就察觉用户只给了跨度和'不含幕墙机电',缺少荷载、节点形式、屋面做法、面积、预算等关键参数,并主动追问;而不是先给模糊回答再补问。
看助手是否跟上用户需求从'了解行情'到'需要填概算表的推荐取值'再到'预算 300 万够不够'的逐步深化,从给区间走到给具体推荐值、再做预算分析。
先做话题一致性前置检查,偏离主题直接判零;再看分项用钢量、吨价、结构与屋面金额、综合单价、总价与预算余量是否算对,综合单价是否落在可接受区间内。
看回答是否完整、专业、实用:是否覆盖结构与屋面分项、是否分析信息中的关键矛盾、是否揭示螺栓球在 45 米跨下的风险点,以及是否交代含税与安装范围、易漏项和适用前提。
荷载条件、屋面做法、节点形式、用途场景四项基础信息缺任一项不超过 0.7 分;面积规模、预算限额、所在地区、工期要求等深入信息每覆盖一项加分。
判分分五路:意图理解、数值准确性、内容质量、信息收集质量,各自独立打分后再汇总,通过与否取综合结果。数值一项设有前置的话题一致性检查,回答整体跑偏即该维度归零;同时给出宽泛可接受区间 400 至 900 元每平方米和推荐区间 550 至 750 元每平方米,超出上沿只能拿中等分。内容质量设有硬性封顶:缺少结构与屋面系统的分项估算、给不出用钢量或综合吨价的,即使结论实用,该项最高只到 0.4。信息收集一项同样设阈值:荷载、屋面做法、节点形式、用途四项基础信息缺失任意一项,得分不超过 0.7。预算侧的标杆换算为 300 万除以 3200 平方米等于 937.5 元每平方米,未做这步换算或未明确回答预算是否够用,都会被直接扣分。
| 测试对象 | 得分 | 结果 | 部署 / 环境 | 耗时 | Token | 失分要点 |
|---|---|---|---|---|---|---|
| qwen4-max1 次运行 | 0.942 | 通过 | 有波动空结果6 | 4m 37s | 262,177 | 通过;助手在三轮回答中均主动提问且追问质量较高:第一轮询问了屋面做法、吊挂荷载(吊顶/马道/光伏)、项目所在地、安装高度、耐火极限等;第二轮对用户未回答的地区问题进行… |
| mimo-v2.6-pro-ultraspeed测试报告 | 0.923 | 通过 | 仅报告 | 4m 50s | 313,016 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| claude-opus-5-51 次运行 | 0.890 | 通过 | 有波动用法错误3、空结果5 | 3m 06s | 672,380 | 通过;整体表现较好:助手准确理解了每轮需求的深化(行情→精确区间→概算推荐值+预算分析),并敏锐指出600-900元可能是'网架+整套屋面'价格而非钢结构本身,这是有… |
| MiniMax-M3.1-Flash1 次运行 | 0.890 | 通过 | 有波动超时1、工具报错2、空结果6 | 3m 38s | 1,619,283 | 通过;The assistant demonstrated strong domain expertise and good intent tracking acro… |
| Qwen3.8-Flash(xhigh)测试报告 | 0.885 | 通过 | 仅报告 | 16m 02s | 1,729,196 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| step-5-preview1 次运行 | 0.830 | 通过 | 有波动超时1、工具报错2、空结果5 | 9m 34s | 1,331,046 | 通过;助手给出了具体测算且内部计算基本正确,但最终推荐综合单价930元/㎡、总价298万元,略超出参考允许范围(综合单价400-900元/㎡、总价130-290万元)… |
| claude-sonnet-5.51 次运行 | 0.774 | 通过 | 有波动空结果6 | 2m 51s | 598,527 | 通过;话题一致,内部算术基本正确(3200㎡×650/320元、合计约310万等计算无误),也给出了部分合理中间值(用钢量约48kg/㎡、吨价9500元/吨、网架本体… |
| gpt-6.1-sol1 次运行 | 0.766 | 通过 | 有波动空结果5 | 2m 03s | 46,415 | 通过;话题一致且内部算术基本正确:300万/3200=937.5元/㎡、800+40后9%税和8%风险得到约988.85元/㎡/316.43万均无误。但其最终建议概算… |
| gpt-6-astra1 次运行 | 0.745 | 未通过 | 有波动空结果5 | 1m 21s | 148,026 | 回答贴合主题,明确给出概算推荐值、风险预留、总预算及剩余额度,交代含税安装范围、适用前提和易遗漏项目,并提示吊挂集中荷载、屋面构造及安装条件风险,实用性较好;也如实说明未核实最新成交价。但缺少必备的结构与屋面系统分项估算… |
| gemini-4-carbon1 次运行 | 0.675 | 未通过 | 有波动空结果6 | 45s | 48,122 | 话题一致。分项中用钢量、吨价、钢结构与屋面部分金额大多在可接受范围或接近合理区间;但最终综合单价给出约930元/㎡并建议900-950元/㎡,略超出400-900元/㎡的宽泛可接受区间,且未按3200㎡计算总造价或明确判… |
| spark-x2.61 次运行 | 0.576 | 未通过 | 有波动工具报错7、空结果22 | 2m 52s | 228,317 | 助手几乎没有主动收集信息,第一轮直接给出宽泛区间且未追问荷载、屋面做法、节点形式、用途等基础信息;第二轮用户虽主动补充部分条件,但助手仍未继续追问缺失的荷载取值、面积、地区、预算目标等关键信息。 |
| Kimi-K3(max)测试报告 | 0.573 | 未通过 | 仅报告 | 14m 01s | 740,533 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| LongCat-2.51 次运行 | 0.291 | 未通过 | 有波动工具报错6、空结果9 | 4m 37s | 882,186 | 助手最终没有给出任何数值估算或综合单价、总造价等回答,仅停留在搜索和抓取过程,无法满足数值准确性要求。 |
| Hy41 次运行 | 0.258 | 未通过 | 有波动工具报错3、空结果9 | 5m 26s | 772,388 | The assistant conducted numerous web searches and fetches attempting to gather pricing data for a 45m span ste… |
| GLM 5.3测试报告 | 0.248 | 未通过 | 仅报告 | 3m 20s | 1,087,567 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| kimi-k3.1-pro4 次运行 | 0.248 | 未通过 | 有波动超时6、工具报错4、空结果17 | 15m 09s | 1,287,373 | The assistant never provided a final answer with numerical estimates. Despite extensive tool calls (searches,… |
| Qwen3.8-Max(xhigh)测试报告 | 0.244 | 未通过 | 仅报告 | 8m 10s | 1,760,336 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| deepseek-v4.1-flash-1017测试报告 | 0.229 | 未通过 | 仅报告 | 4m 20s | 1,542,773 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| GLM-5.3-Flash测试报告 | 0.216 | 未通过 | 仅报告 | 1m 50s | 149,503 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| ernie-5.5-flash-preview1 次运行 | 0.200 | 未通过 | 有波动工具报错5、空结果5 | 2m 40s | 1,723,186 |
资源、网络、额度、判分链路的问题,不应算作答题能力。