用户先用一句话问:在容器编排工具 Docker Compose 里怎么限制显卡资源、怎么让容器只用指定显卡,并要求一份完整、能直接拿去改的配置文件。随后用户在对话里逐步补充真实环境:两台 A100 80G 与两台 4090 24G 混用,要按显卡分区把 A100 切出两个 40G 实例、在 4090 上用应用层办法卡住显存,三个课题组各跑一个 7B 推理服务,还有内网镜像仓库、模型目录只读挂载、健康检查与崩溃重启等要求。答好这题既要纠正“显卡不能写在资源上限里”的常见误区,也要在多轮追问中把方案落成可运行的完整文件与显卡分区脚本。
看整个对话里助手是否主动问清了设计完整方案所需的条件:显卡具体型号、部署场景与规模(单机多卡还是多机多卡、是否需要隔离)。这两项属于基础项,缺任意一项总分不超过 0.7;再问清是否需要显存层面的硬限制、是否需要完整可运行文件、容器工具与编排工具版本等,属于加分项。
看每一轮而不是只看最后一轮:是否察觉到用户一句“怎么写”背后其实缺关键信息并主动追问;是否准确捕捉用户逐轮透露的新约束(A100 加 4090 混用、显卡分区需求、三个课题组)并同步更新方案;是否跟住需求从“要一句语法”演变为“要一套能落地的方案”。
最终回答必须围绕“容器编排里的显卡资源限制与指定显卡配置”。若完全偏离该主题,内容质量直接判 0 分,不再看其他项。
查是否正确指出显卡不写在资源上限而在资源预留的设备声明里、指定显卡与按数量申请不能同时写、旧式运行时写法已过时;显卡分区实例标识、应用层显存限制、双卡推理需整卡、健康检查不会自动重启容器、重启策略在普通编排下是否生效等说法是否准确。
查是否真的交出能直接运行的完整文件:显卡分区的启用步骤与实例编号、A100 与 4090 两套差异化限制、模型目录只读挂载、内网镜像地址、按课题组划分的设备分配,以及显卡分区实例数量与三个课题组加双卡整卡之间的矛盾如何处理。
判分由三项各 0 到 1 分的评测组成:信息收集、意图理解与响应、内容质量。信息收集里,显卡型号与部署场景规模是硬门槛,缺任意一项该轮分数上限锁定在 0.7;主动追问显存硬限制、完整文件需求、容器工具链与版本属于加分动作。话题一致性是一票否决项,最终回答完全跑题的内容质量直接归零。从实际判分看,分档大致清晰:只给语法说明、或最后没有交出完整文件、或存在明确技术错误的,落在 0.2 到 0.6;能把完整文件、显卡分区与 4090 差异化限制、整卡约束都落地并主动澄清信息的,落在 0.75 到 0.96。通过线约为 0.75:0.7568 记为通过,0.7484 记为未通过。
| 测试对象 | 得分 | 结果 | 部署 / 环境 | 耗时 | Token | 失分要点 |
|---|---|---|---|---|---|---|
| gpt-6.1-sol1 次运行 | 0.960 | 通过 | 有波动超时1、工具报错1 | 6m 48s | 397,178 | 通过;助手整体准确跟踪了需求演变:从 Compose GPU 基础语法,到显存隔离、A100/4090 分策、MIG 绑定、vLLM 配置、13B TP=2 的资源前… |
| mimo-v2.6-pro-ultraspeed测试报告 | 0.956 | 通过 | 仅报告 | 7m 00s | 1,546,142 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| gpt-6-astra1 次运行 | 0.952 | 通过 | 正常 | 7m 32s | 185,932 | 通过;结合完整对话,助手提供了语法正确的 Compose Spec 配置、完整环境文件、GPU/MIG UUID 绑定及 /data/models 只读挂载;区分了… |
| qwen4-max1 次运行 | 0.952 | 通过 | 有波动超时1 | 10m 29s | 367,614 | 通过;回答质量非常高。Step 1/3 基础分达标:全程使用新版 Compose Spec 的 deploy.resources.reservations.devic… |
| claude-opus-5-51 次运行 | 0.940 | 通过 | 正常 | 10m 37s | 188,900 | 通过;整体理解和技术深度都很强:初始问题给了准确的 deploy.resources.reservations.devices 写法,并主动追问硬件/场景;随后准确捕… |
| claude-sonnet-5.51 次运行 | 0.903 | 通过 | 正常 | 4m 55s | 99,233 | 通过;The assistant demonstrated excellent performance across the multi-turn conversat… |
| GLM 5.3测试报告 | 0.848 | 通过 | 仅报告 | 18m 30s | 697,922 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| deepseek-v4.1-flash-1017测试报告 | 0.816 | 通过 | 仅报告 | 12m 00s | 147,433 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| kimi-k3.1-pro2 次运行 | 0.813 | 通过 | 有波动超时2、工具报错12、空结果9 | 13m 16s | 1,599,412 | 通过;基础信息已收集完整:明确知道 A100 80GB、RTX 4090 24GB,以及三台机器、三组 vLLM 服务的多机部署与 MIG 隔离场景;显存硬限制、Do… |
| Qwen3.8-Flash(xhigh)测试报告 | 0.778 | 通过 | 仅报告 | 12m 10s | 796,306 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| MiniMax-M3.1-Flash1 次运行 | 0.757 | 通过 | 有波动工具报错2 | 7m 05s | 799,195 | 通过;助手对用户意图跟踪很好:从 Compose GPU 语法到显存限制、A100/4090 混合环境、多节点 MIG 方案都逐步适配,并主动给出完整脚本/READM… |
| spark-x2.61 次运行 | 0.748 | 未通过 | 有波动空结果6 | 11m 49s | 195,958 | 助手整体能较好跟踪用户逐步演变的复杂需求,并多次给出完整可改的 compose 模板,交付意识较强。但存在明显技术错误:初始回答混用了旧式 `runtime: nvidia`,且未意识到其与 `deploy.resour… |
| gemini-4-carbon1 次运行 | 0.723 | 未通过 | 正常 | 1m 29s | 36,452 | 助手总体能跟上用户场景演进,从基础 deploy.resources 到 MIG、显存限制、vLLM、Harbor、健康检查和拆分配置都有回应,且对“Compose 不能按显存硬限制”这一核心问题判断正确。但多轮存在关键… |
| Qwen3.8-Max(xhigh)测试报告 | 0.644 | 未通过 | 仅报告 | 18m 00s | 202,997 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| Hy41 次运行 | 0.608 | 未通过 | 有波动工具报错2、空结果4 | 9m 54s | 574,428 | 话题相关,且此前回答给出了正确的 Docker Compose GPU 基础语法,并纠正了 GPU 不在 deploy.resources.limits。但针对用户最终补充的完整场景,助手没有交付完整可落地的 docke… |
| Kimi-K3(max)测试报告 | 0.596 | 未通过 | 仅报告 | 9m 10s | 18,201 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| GLM-5.3-Flash测试报告 | 0.518 | 未通过 | 仅报告 | 5m 30s | 360,694 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| step-5-preview1 次运行 | 0.512 | 未通过 | 有波动工具报错4、空结果4 | 4m 24s | 383,584 | 回答主题一致且早期给出的 Docker Compose GPU 语法基本正确,但针对用户要求的完整可交付 docker-compose.yml 没有给出最终文件;也未提供 A100 MIG 启用命令、MIG UUID 配… |
| LongCat-2.51 次运行 | 0.438 | 未通过 | 有波动超时1、工具报错11、空结果4 | 6m 35s | 913,191 | 助手在第一轮回答中仅提供了技术说明,完全没有主动提问来收集设计完整方案所需的基础信息(如GPU具体型号、部署场景和规模等)。关键硬件配置信息是用户在第二轮对话中主动补充的。助手在整个对话过程中几乎没有展现出任何主动澄清和… |
| ernie-5.5-flash-preview1 次运行 | 0.430 | 未通过 | 有波动工具报错3、空结果7 | 5m 32s | 1,183,988 | 助手在最后请求“完整可直接修改的 docker-compose.yml 模板”后仅进行了环境检查,没有输出最终配置或回答,未满足交付物要求。 |
资源、网络、额度、判分链路的问题,不应算作答题能力。