这道题模拟一段真实的多轮咨询:用户想知道 CI 流水线部署到预发布环境时,Jira、Slack、Confluence 之间自动发发布通知的当前最佳做法,尤其是 Jira 有没有原生的部署事件自动化触发器、还是仍要依赖 CI 工具发 webhook,以及 Jira 的部署追踪能力是否已经成熟到可以依托。对话中途用户会继续追加要求并抛出传闻和需求冲突,最后要求把方案落成一份可直接执行的发布通知标准作业流程。
看助手是否在整段对话里逐步问清关键前提:Jira 云版还是自建、CI 工具及其托管方式、Jira 版本层级、Confluence 页面类型与体量、通知面向哪些团队与角色、组织痛点、升级路径等
逐轮看是否始终跟住用户意图、在用户改口或追加冲突需求时能否接住、工具用得是否有效,不只看最后一轮答案
看触发器名称、接口与配置步骤、架构判断是否事实正确,先做话题一致性预检,跑题或没有可核验的技术主张直接判低分
不看技术准确性,单独看交付的完整度、结构、领域专业度和决策质量:有没有架构、通知矩阵、升级与冲突处理、实施步骤
四个维度各自按 0 到 1 分独立打分:信息收集质量、对话轨迹管理、技术准确性、最终 SOP 内容质量,总分为这些维度的综合。信息收集有一条硬下限——第一批基础参数(组织痛点、期望的交付格式、受影响的团队与角色职责、升级路径等)缺任何一项,该维度直接封顶 0.7,这是多数未通过对象的共同卡点。技术准确性维度前有话题一致性预检,跑题或全程没有可核验的技术主张一律落到 0 分档。分档上大致是:全程没写出结论或 SOP 的给 0;只答对部分架构、漏掉关键环节的落在 0.2 到 0.5;结构完整但缺角色通知矩阵、升级或冲突处理的落在 0.5 到 0.7;架构、通知矩阵、升级回滚、实施步骤齐全且决策明确的才上 0.85 以上。最终 SOP 维度不与技术准确性重复扣分,只看完整性、结构与决策质量,因此同一对象两项判分可能差距很大(如 0.5 与 0.85)。对话轮数上限为 25 轮,未在限内收尾的按未交付处理。
| 测试对象 | 得分 | 结果 | 部署 / 环境 | 耗时 | Token | 失分要点 |
|---|---|---|---|---|---|---|
| claude-sonnet-5.51 次运行 | 0.938 | 通过 | 有波动工具报错8、空结果6 | 11m 11s | 1,442,809 | 通过;The assistant gathered all Batch 1 details and progressively deepened the discus… |
| claude-opus-5-51 次运行 | 0.908 | 通过 | 有波动工具报错1、用法错误1、空结果4 | 5m 21s | 353,886 | 通过;The assistant collected the core deliverable format, roles/teams, escalation nee… |
| gpt-6.1-sol1 次运行 | 0.875 | 通过 | 有波动工具报错1、空结果3 | 2m 55s | 121,090 | 通过;The assistant asked two relevant technical follow-ups (CI/CD tool and Jira Cloud… |
| deepseek-v4.1-flash-1017测试报告 | 0.858 | 通过 | 仅报告 | 13m 50s | 840,044 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| gpt-6-astra1 次运行 | 0.858 | 通过 | 有波动工具报错4 | 4m 07s | 214,298 | 通过;The assistant asked targeted questions about Jira Cloud versus Data Center and t… |
| Qwen3.8-Flash(xhigh)测试报告 | 0.847 | 通过 | 仅报告 | 25m 20s | 1,090,912 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| kimi-k3.1-pro2 次运行 | 0.843 | 通过 | 有波动超时2、工具报错7、空结果9 | 10m 43s | 829,727 | 通过;The assistant asked one useful, consolidated question about Jira hosting and CI… |
| Qwen3.8-Max(xhigh)测试报告 | 0.836 | 通过 | 仅报告 | 16m 50s | 869,222 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| mimo-v2.6-pro-ultraspeed测试报告 | 0.805 | 通过 | 仅报告 | 9m 40s | 1,001,957 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| step-5-preview1 次运行 | 0.802 | 通过 | 有波动工具报错10、空结果7 | 8m 48s | 696,659 | 通过;The assistant progressively deepened understanding by asking about Jira tier, CI… |
| GLM 5.3测试报告 | 0.706 | 未通过 | 仅报告 | 17m 30s | 358,437 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| LongCat-2.51 次运行 | 0.688 | 未通过 | 有波动超时3、工具报错7、空结果4 | 13m 54s | 1,641,355 | The assistant provided a strong technical answer and did ask for some relevant context (CI/CD platform, workfl… |
| spark-x2.61 次运行 | 0.676 | 未通过 | 有波动空结果9 | 2m 10s | 47,793 | The assistant mostly answered from the initial prompt and user-provided context, with little proactive informa… |
| qwen4-max1 次运行 | 0.668 | 未通过 | 有波动工具报错10、空结果5 | 10m 19s | 666,742 | The assistant asked exactly one clarifying question across the entire conversation (Jira/GitHub cloud vs self-… |
| claude-fable-5-12 次运行 | 0.648 | 未通过 | 有波动工具报错2、空结果3 | 15m 43s | 447,795 | Turns 1–2 are strong: the assistant verified the time-sensitive deployment-trigger claims by fetching the actu… |
| gemini-4-carbon1 次运行 | 0.640 | 未通过 | 有波动空结果12 | 1m 12s | 47,650 | The assistant largely answered from user-provided context and did not proactively gather most required SOP or… |
| Kimi-K3(max)测试报告 | 0.612 | 未通过 | 仅报告 | 12m 00s | 72,760 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| Hy41 次运行 | 0.594 | 未通过 | 有波动超时1、工具报错15、空结果10 | 14m 51s | 1,399,518 | The assistant stayed on topic and researched relevant Atlassian mechanics, but never produced the requested SO… |
| MiniMax-M3.1-Flash1 次运行 | 0.272 | 未通过 | 有波动超时3、工具报错14、空结果5 | 6m 16s | 903,922 | The assistant never provided a final answer or recommendations. While the fetched documentation contains mostl… |
| ernie-5.5-flash-preview1 次运行 | 0.267 | 未通过 | 有波动超时1、工具报错18、空结果4 | 3m 08s | 858,836 | The transcript shows only tool calls and results, with no final assistant answer containing recommendations. B… |
| GLM-5.3-Flash测试报告 | 0.240 | 未通过 | 仅报告 | 3m 30s | 642,220 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
资源、网络、额度、判分链路的问题,不应算作答题能力。