这题让模型扮演一位被人力资源负责人咨询的顾问:对方想找能直接接入 BambooHR 人资系统的 AI 工具,把离职率假设真正算进人数预测,而不只是一个漂亮的看板。随着对话推进,需求从“帮我推荐工具”变成“直接帮我把模型搭出来”,并要在很快到来的管理层评审前拿到能用成果。模型既要在早期问清关键信息,也要交出带数字的情景模型和汇报材料。
是否在对话早期主动问清建模时间范围、涉及哪些团队、当前人数与离职情况等关键信息,提问是否聚焦而不啰嗦。
是否察觉到需求从“推荐工具”转向“直接帮我建模型”,并跟得上后续变化,例如评审提前到周五、已来不及上新工具。
情景模型的乘除与前后口径是否自洽,离职率是否分档并落在参考区间内,2 名资深员工离职对 12 人团队的即时产能冲击是否算对。
是否同时给出三档情景框架与含 2 名离职、3 个在招岗位的量化产能预测,以及是否从工具推荐切换为亲手建模。
是否交出可以直接带进评审会的成品,而不是继续索要数据的框架、表格模板或占位符。
四个评分分项各为 0 到 1 分,分别考察澄清提问、对话走向、数值准确性和内容质量,最后汇总。内容质量设了硬性封顶:缺少三档情景框架、或缺少含 2 名离职与 3 个在招岗位的量化产能预测,这一项最高只能得 0.4 分;没有从工具推荐切换到亲手建模,最高 0.6 分,因此靠漂亮的框架文字很难补回来。数值准确性对照参考区间判定:年化离职率乐观约 5%、基准 10-15%、悲观 20-25%;12 人团队走 2 名资深员工,即时产能损失约 16.7%,团队人数与岗位口径要前后一致。算术错误、假设前后矛盾(例如表头宣称计入离职、实际按零离职计)都会被扣分,例如 23 乘 85% 得 19.55 这类演算会被逐一核对。3 个未通过对象的判分理由给出的分数正好落在 0.4 至 0.5 一带,与上述封顶规则一致。
| 测试对象 | 得分 | 结果 | 部署 / 环境 | 耗时 | Token | 失分要点 |
|---|---|---|---|---|---|---|
| Qwen3.8-Max(xhigh)测试报告 | 0.962 | 通过 | 仅报告 | 15m 30s | 45,498 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| claude-opus-5-51 次运行 | 0.956 | 通过 | 正常 | 4m 45s | 67,554 | 通过;The assistant proactively asked a clear, organized set of scoping questions cove… |
| GLM-5.3-Flash测试报告 | 0.948 | 通过 | 仅报告 | 28m 20s | 54,364 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| mimo-v2.6-pro-ultraspeed测试报告 | 0.945 | 通过 | 仅报告 | 3m 20s | 39,575 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| qwen4-max1 次运行 | 0.942 | 通过 | 正常 | 7m 53s | 64,113 | 通过;The assistant's questioning was systematic and well-organized across the early t… |
| LongCat-2.51 次运行 | 0.922 | 通过 | 正常 | 12m 39s | 223,089 | 通过;The assistant proactively asked a clear, organized set of scoping questions, inc… |
| GLM 5.3测试报告 | 0.914 | 通过 | 仅报告 | 10m 40s | 58,969 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| Hy41 次运行 | 0.907 | 通过 | 正常 | 21m 49s | 55,015 | 通过;The assistant proactively asked clear, organized questions covering time horizon… |
| claude-sonnet-5.51 次运行 | 0.904 | 通过 | 正常 | 3m 28s | 48,103 | 通过;The assistant asked clear, well-organized clarification questions about headcoun… |
| claude-fable-5-12 次运行 | 0.904 | 通过 | 正常 | 5m 05s | 32,870 | 通过;The assistant's first two turns contained well-organized, proactive clarificatio… |
| ernie-5.5-flash-preview1 次运行 | 0.884 | 通过 | 正常 | 3m 14s | 195,278 | 通过;The assistant provides a substantive quantitative scenario model: it correctly r… |
| kimi-k3.1-pro2 次运行 | 0.881 | 通过 | 正常 | 11m 46s | 92,945 | 通过;The assistant builds a quantitatively coherent monthly scenario framework with c… |
| Qwen3.8-Flash(xhigh)测试报告 | 0.880 | 通过 | 仅报告 | 15m 30s | 84,961 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| step-5-preview1 次运行 | 0.875 | 通过 | 正常 | 8m 29s | 196,692 | 通过;The assistant proactively asked clear, organized follow-up questions, including… |
| spark-x2.61 次运行 | 0.868 | 通过 | 正常 | 10m 16s | 91,687 | 通过;The assistant built a detailed quantitative scenario model and most core tables… |
| gpt-6-astra1 次运行 | 0.808 | 通过 | 正常 | 1m 21s | 7,310 | 通过;Provides a useful, clearly labeled modeling scaffold with cohort-based ramp form… |
| deepseek-v4.1-flash-1017测试报告 | 0.750 | 通过 | 仅报告 | 3m 40s | 30,220 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| MiniMax-M3.1-Flash1 次运行 | 0.684 | 未通过 | 正常 | 14m 26s | 147,026 | The assistant provides a clear scenario framework and practical Excel modeling steps, and appropriately adapts… |
| gpt-6.1-sol1 次运行 | 0.664 | 未通过 | 正常 | 1m 27s | 9,035 | The assistant provided a defensible scenario framework with placeholder hiring months and ramp assumptions, an… |
| gemini-4-carbon1 次运行 | 0.630 | 未通过 | 正常 | 30s | 6,106 | The assistant pivoted well to hands-on modeling and provided VP-oriented talking points plus some seniority-ef… |
| Kimi-K3(max)测试报告 | 0.447 | 未通过 | 仅报告 | 10m 04s | 4,111 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
资源、网络、额度、判分链路的问题,不应算作答题能力。