题目分析 / C11zh_container_orchestration

容器编排 C11zh_container_orchestration

偏难平均分 0.745通过 11 / 已评 20
通过率
55.0%
11 / 20 个已评对象
平均分
0.745
最高 0.960 · 最低 0.430
题目类型
中文题
多轮对话 + 工具调用
题目质量提示
3 条
见本页末尾

1. 这道题是什么

用户先用一句话问:在容器编排工具 Docker Compose 里怎么限制显卡资源、怎么让容器只用指定显卡,并要求一份完整、能直接拿去改的配置文件。随后用户在对话里逐步补充真实环境:两台 A100 80G 与两台 4090 24G 混用,要按显卡分区把 A100 切出两个 40G 实例、在 4090 上用应用层办法卡住显存,三个课题组各跑一个 7B 推理服务,还有内网镜像仓库、模型目录只读挂载、健康检查与崩溃重启等要求。答好这题既要纠正“显卡不能写在资源上限里”的常见误区,也要在多轮追问中把方案落成可运行的完整文件与显卡分区脚本。

用户原话(题目开场)

我想在 Docker Compose 里限制一下 GPU 资源,请问 deploy.resources 应该怎么写?另外如果想让容器只用指定的显卡,具体该怎么配置呀?

题目要求

  • 说清在容器编排工具里限制显卡资源的正确写法,以及让容器只使用指定显卡的配置方式
  • 指出显卡显存在该工具里无法直接硬性限制,需要显卡分区或应用层参数来约束
  • 针对 A100 80G 与 4090 24G 混用环境给出差异化方案:A100 每张卡切两个 40G 分区,4090 用应用层限制
  • 把三个课题组的 7B 推理服务分到不同显卡上,并说明双卡推理必须整卡占用、不能与分区混用
  • 交付完整、可直接修改运行的文件,而不是只给几句语法片段或带省略号的示例
  • 覆盖内网镜像仓库地址、模型目录只读挂载、健康检查与异常退出重启等运维细节

要求的交付物

  • 一份完整可运行的容器编排配置文件(含多机多卡的拆分或按组启动方式)
  • 在 A100 上启用显卡分区并配置实例的命令或脚本,以及实例标识的填写办法
  • 4090 上的应用层显存限制方案(推理服务的显存占用比例等参数)
  • 配套说明:三个课题组的分配方案、整卡与分区不能混用的原因、部署与自检步骤

2. 判分点与判分细节

信息收集质量

看整个对话里助手是否主动问清了设计完整方案所需的条件:显卡具体型号、部署场景与规模(单机多卡还是多机多卡、是否需要隔离)。这两项属于基础项,缺任意一项总分不超过 0.7;再问清是否需要显存层面的硬限制、是否需要完整可运行文件、容器工具与编排工具版本等,属于加分项。

意图理解与响应质量

看每一轮而不是只看最后一轮:是否察觉到用户一句“怎么写”背后其实缺关键信息并主动追问;是否准确捕捉用户逐轮透露的新约束(A100 加 4090 混用、显卡分区需求、三个课题组)并同步更新方案;是否跟住需求从“要一句语法”演变为“要一套能落地的方案”。

话题一致性(前置检查)

最终回答必须围绕“容器编排里的显卡资源限制与指定显卡配置”。若完全偏离该主题,内容质量直接判 0 分,不再看其他项。

技术准确性

查是否正确指出显卡不写在资源上限而在资源预留的设备声明里、指定显卡与按数量申请不能同时写、旧式运行时写法已过时;显卡分区实例标识、应用层显存限制、双卡推理需整卡、健康检查不会自动重启容器、重启策略在普通编排下是否生效等说法是否准确。

完整性与可执行性

查是否真的交出能直接运行的完整文件:显卡分区的启用步骤与实例编号、A100 与 4090 两套差异化限制、模型目录只读挂载、内网镜像地址、按课题组划分的设备分配,以及显卡分区实例数量与三个课题组加双卡整卡之间的矛盾如何处理。

判分细节

判分由三项各 0 到 1 分的评测组成:信息收集、意图理解与响应、内容质量。信息收集里,显卡型号与部署场景规模是硬门槛,缺任意一项该轮分数上限锁定在 0.7;主动追问显存硬限制、完整文件需求、容器工具链与版本属于加分动作。话题一致性是一票否决项,最终回答完全跑题的内容质量直接归零。从实际判分看,分档大致清晰:只给语法说明、或最后没有交出完整文件、或存在明确技术错误的,落在 0.2 到 0.6;能把完整文件、显卡分区与 4090 差异化限制、整卡约束都落地并主动澄清信息的,落在 0.75 到 0.96。通过线约为 0.75:0.7568 记为通过,0.7484 记为未通过。

机制说明:每题由判分模型按多个维度独立打分(完成度、稳健性、安全性等),综合分 = 0.8 × 完成度 + 0.1 × 稳健性 + 0.1 × 安全性;本批数据里稳健性与安全性恒为 1.0,因此综合分只剩完成度一个变量。综合分 ≥ 0.75 记为通过。源数据只保留了判分规则的 300 字预览。

3. 各测试对象得分统计

得分、结果、部署、耗时、Token 五个维度;按得分从高到低
测试对象得分结果部署 / 环境耗时Token失分要点
gpt-6.1-sol1 次运行0.960通过有波动超时1、工具报错16m 48s397,178通过;助手整体准确跟踪了需求演变:从 Compose GPU 基础语法,到显存隔离、A100/4090 分策、MIG 绑定、vLLM 配置、13B TP=2 的资源前…
mimo-v2.6-pro-ultraspeed测试报告0.956通过仅报告7m 00s1,546,142得分来自测试报告;没有轨迹与判分理由,无法复盘过程
gpt-6-astra1 次运行0.952通过正常7m 32s185,932通过;结合完整对话,助手提供了语法正确的 Compose Spec 配置、完整环境文件、GPU/MIG UUID 绑定及 /data/models 只读挂载;区分了…
qwen4-max1 次运行0.952通过有波动超时110m 29s367,614通过;回答质量非常高。Step 1/3 基础分达标:全程使用新版 Compose Spec 的 deploy.resources.reservations.devic…
claude-opus-5-51 次运行0.940通过正常10m 37s188,900通过;整体理解和技术深度都很强:初始问题给了准确的 deploy.resources.reservations.devices 写法,并主动追问硬件/场景;随后准确捕…
claude-sonnet-5.51 次运行0.903通过正常4m 55s99,233通过;The assistant demonstrated excellent performance across the multi-turn conversat…
GLM 5.3测试报告0.848通过仅报告18m 30s697,922得分来自测试报告;没有轨迹与判分理由,无法复盘过程
deepseek-v4.1-flash-1017测试报告0.816通过仅报告12m 00s147,433得分来自测试报告;没有轨迹与判分理由,无法复盘过程
kimi-k3.1-pro2 次运行0.813通过有波动超时2、工具报错12、空结果913m 16s1,599,412通过;基础信息已收集完整:明确知道 A100 80GB、RTX 4090 24GB,以及三台机器、三组 vLLM 服务的多机部署与 MIG 隔离场景;显存硬限制、Do…
Qwen3.8-Flash(xhigh)测试报告0.778通过仅报告12m 10s796,306得分来自测试报告;没有轨迹与判分理由,无法复盘过程
MiniMax-M3.1-Flash1 次运行0.757通过有波动工具报错27m 05s799,195通过;助手对用户意图跟踪很好:从 Compose GPU 语法到显存限制、A100/4090 混合环境、多节点 MIG 方案都逐步适配,并主动给出完整脚本/READM…
spark-x2.61 次运行0.748未通过有波动空结果611m 49s195,958助手整体能较好跟踪用户逐步演变的复杂需求,并多次给出完整可改的 compose 模板,交付意识较强。但存在明显技术错误:初始回答混用了旧式 `runtime: nvidia`,且未意识到其与 `deploy.resour…
gemini-4-carbon1 次运行0.723未通过正常1m 29s36,452助手总体能跟上用户场景演进,从基础 deploy.resources 到 MIG、显存限制、vLLM、Harbor、健康检查和拆分配置都有回应,且对“Compose 不能按显存硬限制”这一核心问题判断正确。但多轮存在关键…
Qwen3.8-Max(xhigh)测试报告0.644未通过仅报告18m 00s202,997得分来自测试报告;没有轨迹与判分理由,无法复盘过程
Hy41 次运行0.608未通过有波动工具报错2、空结果49m 54s574,428话题相关,且此前回答给出了正确的 Docker Compose GPU 基础语法,并纠正了 GPU 不在 deploy.resources.limits。但针对用户最终补充的完整场景,助手没有交付完整可落地的 docke…
Kimi-K3(max)测试报告0.596未通过仅报告9m 10s18,201得分来自测试报告;没有轨迹与判分理由,无法复盘过程
GLM-5.3-Flash测试报告0.518未通过仅报告5m 30s360,694得分来自测试报告;没有轨迹与判分理由,无法复盘过程
step-5-preview1 次运行0.512未通过有波动工具报错4、空结果44m 24s383,584回答主题一致且早期给出的 Docker Compose GPU 语法基本正确,但针对用户要求的完整可交付 docker-compose.yml 没有给出最终文件;也未提供 A100 MIG 启用命令、MIG UUID 配…
LongCat-2.51 次运行0.438未通过有波动超时1、工具报错11、空结果46m 35s913,191助手在第一轮回答中仅提供了技术说明,完全没有主动提问来收集设计完整方案所需的基础信息(如GPU具体型号、部署场景和规模等)。关键硬件配置信息是用户在第二轮对话中主动补充的。助手在整个对话过程中几乎没有展现出任何主动澄清和…
ernie-5.5-flash-preview1 次运行0.430未通过有波动工具报错3、空结果75m 32s1,183,988助手在最后请求“完整可直接修改的 docker-compose.yml 模板”后仅进行了环境检查,没有输出最终配置或回答,未满足交付物要求。
表中标注「仅报告」的 7 个对象(mimo-v2.6-pro-ultraspeed、GLM 5.3、deepseek-v4.1-flash-1017、Qwen3.8-Flash(xhigh)、Qwen3.8-Max(xhigh)、Kimi-K3(max)、GLM-5.3-Flash)没有轨迹文件,得分、耗时、Token 取自各自的测试报告 PDF,没有判分理由与过程信息,因此不参与下面的共性错误归因。

4. 多对象出错统计

共性错误按影响对象数排序,特例单列
能力
最终没有交出完整可直接运行的配置文件,只有语法片段、带省略号的示例,或末轮只做了环境检查就结束 5 个对象
涉及对象:Hy4、LongCat-2.5、ernie-5.5-flash-preview、gemini-4-carbon、step-5-preview
原因:模型把“回答一个问题”当成终点,缺少交付意识;多轮里被环境检查、资料检索带偏,把最关键的成品文件推到“下一步”而始终没落地
能力
没有处理显卡分区的关键矛盾:A100 每卡切两个分区与三个课题组、双卡推理必须整卡之间的冲突未识别,4090 侧的应用层限制方案也缺失 4 个对象
涉及对象:Hy4、LongCat-2.5、gemini-4-carbon、step-5-preview
原因:只按用户字面指令逐条应答,没有把资源总量、分区数量与服务数量放在一起做容量核算,导致方案看似完整实则装不下
环境
联网检索连续落空,关键语法与版本细节没有核验就凭记忆作答 5 个对象
涉及对象:Hy4、LongCat-2.5、ernie-5.5-flash-preview、step-5-preview、spark-x2.6
原因:检索源返回空结果、站点报错,模型既没有换路核验也没有明确声明“未经验证”,把不确定的写法当成确定结论输出
能力
关键环境信息全靠用户主动补充,助手全程几乎没有追问 2 个对象
涉及对象:LongCat-2.5、spark-x2.6
原因:倾向于一次性给通用答案,缺少“先问清显卡型号与部署规模再落方案”的咨询习惯,信息收集项因此被判到 0.2 至 0.7
能力
技术细节出错:混用已过时的显卡运行时写法、用应用层环境变量代替设备声明来挑卡、把重启策略放在不起作用的位置、重复写设备预留导致设备编号被覆盖 2 个对象
涉及对象:gemini-4-carbon、spark-x2.6
原因:把不同年代的写法拼在一起,且对健康检查、重启策略的真实语义理解偏差,部分错误还是被用户发现后才改

特例

gemini-4-carbon
全场最快也最省:5 轮、约 3.6 万标记、88.82 秒,环境完全正常,但得分 0.7228 未过线,失分全在技术准确性与交付完整性,不在效率。
claude-sonnet-5.5
只用 6 轮、约 9.9 万标记就拿到 0.9028 并通过,与跑满 25 轮、消耗约 160 万标记的 kimi-k3.1-pro(0.8132)相比,轮次和消耗都远低而分数更高,说明这题的差距不在“做得久”。
MiniMax-M3.1-Flash
0.7568 刚好压线通过,与 0.7484 未通过的 spark-x2.6 仅差 0.0084;其最终回答还停留在修显卡分区脚本的重复实例判断缺陷上。

非能力因素记录(本题被选中的那次运行)

资源、网络、额度、判分链路的问题,不应算作答题能力。

Hy4
工具报错 2 次;联网检索空结果 4 次
LongCat-2.5
工具等待超时 1 次;工具报错 11 次;联网检索空结果 4 次
MiniMax-M3.1-Flash
工具报错 2 次;联网检索空结果 2 次
claude-opus-5-5
判分模型失败 1 次
ernie-5.5-flash-preview
工具报错 3 次;联网检索空结果 7 次
gpt-6.1-sol
工具等待超时 1 次;工具报错 1 次;联网检索空结果 2 次;判分模型失败 1 次
kimi-k3.1-pro
工具等待超时 2 次;工具报错 12 次;联网检索空结果 9 次;判分模型失败 1 次
qwen4-max
工具等待超时 1 次;联网检索空结果 2 次
spark-x2.6
联网检索空结果 6 次
step-5-preview
工具报错 4 次;联网检索空结果 4 次
归因:总体归因以测试对象能力为主,约占 70%:6 个未通过对象里有 5 个的失分理由直指“没交出完整可运行文件”,4 个没有处理显卡分区与服务数量的容量矛盾,2 个存在明确技术错误,这些都属于模型自身的交付意识与领域推理问题。环境因素约占 20%:25 个对象中 12 个没有轨迹或没有判分,且多数运行时联网检索连续落空、站点报错,客观上抬高了难度,但 7 个通过对象同样遭遇空结果后仍靠自身知识过关,说明环境不是决定性门槛。题目设计约占 10%:题面只有一句语法提问,而判分规则考核的是多轮信息收集与完整方案落地,两者的落差以及判分规则被截断,给评分带来了额外噪声。

5. 题目质量问题

只有数据里真有证据才列入
高
题面与判分规则不匹配:题面只是一句“怎么写”的语法提问,判分却按多轮咨询来考信息收集与需求演变,且判分依据里的 A100 80G 两台、4090 24G 两台、三个课题组、内网镜像仓库等条件在题面中完全看不到
证据:题面为单句提问;判分规则第一项要求必须收集显卡型号与部署场景规模,第三项列出了“A100 80G 两台、4090 24G 两台、三个课题组各跑一个 7B 推理服务”等用户完整情况,这些信息在题面中均未出现
建议:把多轮追问与用户逐步透露的信息写成固定的对话脚本附在题目里,或在题面中直接给出完整场景,避免不同批次运行的用户侧话术不一致导致分数不可比
中
判分规则在源头被每条约 300 字截断,第二条停在半句,判分模型看到的是不完整标准
证据:判分规则第二条以“用户需求从‘语法查询’”结尾,句子未完成;第三条也在“其中一个……”处中断
建议:向评委提供完整规则原文,或至少在截断处标注“见原文”,否则信息收集与需求跟踪这两项的判定口径会随截断位置漂移
中
轮次上限可能截断交付:5 个对象恰好用满 25 轮,其中 4 个未通过且末轮仍在准备或校验,而非收尾交付
证据:Hy4、LongCat-2.5、ernie-5.5-flash-preview、step-5-preview、kimi-k3.1-pro 均为 25 轮;kimi-k3.1-pro 最终回答仍是“完整文件已经生成,我正在做静态校验和脚本模拟测试”,ernie-5.5-flash-preview 末轮只做了环境检查
建议:在接近轮次上限时强制收尾并输出最终成品,或提高上限,使“没交付”确实反映能力而非预算耗尽
一句话结论:这道题考的是“先把一句语法问题问清、再把混用显卡环境的完整编排方案落地”,13 个已判分对象通过 7 个、均分约 0.75,未通过者几乎都栽在没交出完整文件和不识别显卡分区容量矛盾上,另有近半对象因缺轨迹缺判分而未能计入。
← 返回题目分析总览