题目分析 / C09zh_ai_video_creation

AI视频创作 C09zh_ai_video_creation

偏难平均分 0.677通过 9 / 已评 20
通过率
45.0%
9 / 20 个已评对象
平均分
0.677
最高 0.965 · 最低 0.216
题目类型
中文题
多轮对话 + 工具调用
题目质量提示
3 条
见本页末尾

1. 这道题是什么

用户问 Runway Gen-3 Alpha Turbo 现在单次最长能生成多少秒,并想拿它给游戏混剪批量做氛围空镜;他担心 Gen-2 画质不够,想知道现在能不能直接出高质量视频、还是要自己后期处理。对话中他会陆续给出 1080p 60 帧、30 至 50 条、Standard 套餐 625 积分、已有 Topaz 等条件,最后还追加素材跳变与商单版权的问题。评测看的是助手能否先问清关键信息,再给出准确的规格、成本账和可执行的批量工作流。

用户原话(题目开场)

Runway Gen-3 Alpha Turbo现在生成视频最长能到多少秒了?我想拿它批量出一些游戏混剪用的氛围空镜,但之前试过Gen-2出来的画质不太够用,现在能直接输出高质量的视频吗,还是说还得后期自己处理?

题目要求

  • 说清 Runway Gen-3 Alpha Turbo 现在单次最长能生成多少秒,以及原生分辨率、帧率等规格。
  • 用途是给游戏混剪批量产出氛围空镜,不是单条试水,方案要按批量来设计。
  • 回应画质顾虑:之前用 Gen-2 画质不够,要判断现在能否直接输出可用画质,还是必须走后期。
  • 对话中补充的硬指标:成片 1080p、60 帧(B站高画质要求),素材量 30 至 50 条、每条 5 至 10 秒。
  • 对话中补充的成本约束:订阅为 Standard 档(每月 12 美元、625 积分),后期已有 Topaz 工具链。
  • 对话后段追加:素材跳变与一致性怎么救、商单交付前的版权与合同要注意什么。

要求的交付物

  • 对最长时长与原生分辨率、帧率规格的直接回答,并说明与 Gen-2 的画质差异。
  • 明确结论:1080p 60 帧能否直出,若不能则给出超分与插帧的处理路径。
  • 批量生产账:单条积分消耗、625 积分能出多少条、缺口多大、要不要升级套餐。
  • 提升可用率的实操建议,如提示词与首帧控制、跳变成因分类、废片率与交付前测试。

2. 判分点与判分细节

基础信息收集

是否问清最终成片的分辨率与帧率、以及当前订阅档位或预算范围;这两项缺任意一项,该项得分不超过 0.7。

深入信息追问

是否进一步追问游戏类型或画面风格、预期批量总量、现有后期工具链;每覆盖一项加分,主动追问两项以上才算满分,只问了分辨率帧率的落在 0.4 至 0.6。

多轮意图跟踪

是否在首轮就识别出信息缺失并主动询问,是否准确捕捉用户中途的修正,是否跟得上需求从时长、画质到批量预算、再到版权合同的演变。

数值与规格准确性

最长时长 10 秒、原生 24 帧为精确值,原生分辨率约 720p(768×1344)、不支持原生 60 帧、每秒约 5 积分;以及 5 秒约 25 积分推算出的条数与成本。只在答案偏离主题时该项直接判 0。

内容质量与实用性

回答是否完整专业可执行:有没有正视 1080p 60 帧与原生输出的矛盾,有没有给出积分缺口、废片率、升级决策、后期参数与操作步骤。

判分细节

四个维度各自 0 至 1 分:信息收集、多轮理解、数值准确性、内容质量。信息收集有硬门槛——成片分辨率与帧率、订阅档位或预算这两项基础信息缺任意一项就不超过 0.7;深入信息按覆盖项加分,只问到分辨率帧率而没问订阅等级的落在 0.4 至 0.6,主动追问两项以上才算满分。数值维度前置话题一致性检查:最终回答若偏离 Gen-3 规格与批量成本,直接判 0,核心技术值要求精确——最长 10 秒、原生 24 帧、原生约 720p、不支持原生 60 帧、每秒约 5 积分,5 秒约 25 积分及其成本推算也要对得上。内容质量同样有前置检查,且关键步骤缺失会封顶——只答当前替代模型、没讲清 Gen-3 本身规格与 Gen-2 对比的,最高只能给 0.4。也就是说,这题的分档上限比平均表现更决定成败:内容不错但漏掉必答规格,仍会被压在及格线以下。

机制说明:每题由判分模型按多个维度独立打分(完成度、稳健性、安全性等),综合分 = 0.8 × 完成度 + 0.1 × 稳健性 + 0.1 × 安全性;本批数据里稳健性与安全性恒为 1.0,因此综合分只剩完成度一个变量。综合分 ≥ 0.75 记为通过。源数据只保留了判分规则的 300 字预览。

3. 各测试对象得分统计

得分、结果、部署、耗时、Token 五个维度;按得分从高到低
测试对象得分结果部署 / 环境耗时Token失分要点
qwen4-max1 次运行0.965通过有波动超时3、工具报错4、空结果59m 45s546,432通过;全程意图跟踪几乎无瑕疵。第一轮即在结尾主动追问缺失的关键信息(条数、时长、交付分辨率、预算上限),唯一小遗漏是没有明确问帧率,导致60fps硬指标到第二轮才浮现…
step-5-preview1 次运行0.945通过有波动工具报错2、空结果66m 07s79,217通过;助手整体跟上了用户需求演变,从时长/画质到预算、截图选择、跳帧修复和后期管线都有较完整响应,并准确使用了用户补充的625积分、1080p60等约束。不足是首轮未…
deepseek-v4.1-flash-1017测试报告0.938通过仅报告10m 50s451,222得分来自测试报告;没有轨迹与判分理由,无法复盘过程
gpt-6.1-sol1 次运行0.902通过有波动工具报错1、空结果33m 28s301,516通过;基础信息均已收集:成片分辨率/帧率由助手主动询问并得到明确,Runway订阅与预算虽未主动追问但用户已提供并被助手使用。深入信息中,助手主要追问了游戏类型/美术…
Qwen3.8-Flash(xhigh)测试报告0.818通过仅报告10m 00s471,526得分来自测试报告;没有轨迹与判分理由,无法复盘过程
Hy41 次运行0.800通过有波动超时5、工具报错15、空结果712m 47s773,994通过;The assistant correctly identified that Gen-3 Alpha Turbo is retired (July 2026)…
Qwen3.8-Max(xhigh)测试报告0.796通过仅报告13m 10s450,974得分来自测试报告;没有轨迹与判分理由,无法复盘过程
GLM 5.3测试报告0.763通过仅报告15m 30s443,886得分来自测试报告;没有轨迹与判分理由,无法复盘过程
kimi-k3.1-pro2 次运行0.758通过有波动超时2、工具报错13、空结果710m 29s641,185通过;助手正确回答 Gen-3 Alpha Turbo 单次最长 10 秒,并大体把分辨率描述为 720p/768p 级别、暗含不是原生 60fps;但在 credi…
spark-x2.61 次运行0.700未通过有波动空结果82m 26s54,754助手给出的关键数值基本正确:Gen-3 Alpha Turbo约10秒、720p、约24fps,且通过Topaz到1080p/60fps的表述隐含不支持原生60fps;但未提供credits消耗率、Standard套餐成…
claude-opus-5-51 次运行0.698未通过有波动工具报错1、用法错误1、空结果33m 31s123,094最终回答完全转向商用版权与合同注意事项,未涉及原始问题要求的 Runway Gen-3 Alpha Turbo 视频规格(时长、帧率、分辨率等)或批量生成成本估算。根据话题一致性前置检查,数值准确性直接判0。
gpt-6-astra1 次运行0.678未通过有波动超时1、工具报错4、空结果416m 57s893,260最后一条实际助手回答讨论的是建筑结构漂移及静态底图合成,未回答视频规格或批量生产成本;随后仅有版权相关工具调用,没有最终答复。按题设的最终回答话题一致性前置检查,应判0分。
MiniMax-M3.1-Flash1 次运行0.669未通过有波动工具报错2、空结果33m 34s1,114,497回答整体仍围绕 Runway 视频生成与批量工作流,且做了大量官方信息核查,指出了 Gen-3 Alpha Turbo 已退役、当前模型时长/分辨率/价格等关键事实,也给出了部分后期放大、补帧和成本估算。但对用户最新补充…
GLM-5.3-Flash测试报告0.656未通过仅报告18m 40s375,511得分来自测试报告;没有轨迹与判分理由,无法复盘过程
claude-sonnet-5.51 次运行0.645未通过有波动工具报错5、用法错误1、空结果86m 10s1,208,486助手没有给出 rubric 要求的 Gen-3 Alpha Turbo 核心规格:未明确单次最长 10 秒、原生 24fps、约 768×1344 分辨率;主要转向 Gen-4/Gen-4 Turbo,导致关键规格缺失或…
Kimi-K3(max)测试报告0.589未通过仅报告12m 00s134,314得分来自测试报告;没有轨迹与判分理由,无法复盘过程
gemini-4-carbon1 次运行0.508未通过有波动空结果191m 26s114,275主题一致。单次时长称 5 或 10 秒可接受,但关键 Credits 规格明显错误:Rubric 要求约 5 Credits/秒(5秒约25 Credits),助手称 5 秒约10-15 Credits;据此成本估算也完…
ernie-5.5-flash-preview1 次运行0.272未通过有波动超时3、工具报错4、空结果65m 35s935,488The conversation contains tool calls and results but no final assistant response addressing Gen-3 Alpha Turbo’…
LongCat-2.51 次运行0.232未通过有波动超时3、工具报错10、空结果95m 30s501,420The assistant did not provide a final answer with any numerical or technical specifications, so the required v…
mimo-v2.6-pro-ultraspeed测试报告0.216未通过仅报告8m 00s276,283得分来自测试报告;没有轨迹与判分理由,无法复盘过程
表中标注「仅报告」的 7 个对象(deepseek-v4.1-flash-1017、Qwen3.8-Flash(xhigh)、Qwen3.8-Max(xhigh)、GLM 5.3、GLM-5.3-Flash、Kimi-K3(max)、mimo-v2.6-pro-ultraspeed)没有轨迹文件,得分、耗时、Token 取自各自的测试报告 PDF,没有判分理由与过程信息,因此不参与下面的共性错误归因。

4. 多对象出错统计

共性错误按影响对象数排序,特例单列
能力
积分消耗与成本账缺失或算错,没能回答 625 积分到底够不够这批素材 4 个对象
涉及对象:MiniMax-M3.1-Flash、claude-sonnet-5.5、gemini-4-carbon、spark-x2.6
原因:需要把单条积分消耗、生成次数、废片率、月额度连成一条账,多数对象只给了零散单价或乐观结论;gemini-4-carbon 把 5 秒说成 10 至 15 积分(应为约 25),据此得出 625 积分够用的错误结论。
能力
没有交代 Gen-3 Alpha Turbo 的关键规格(10 秒、24 帧、约 720p、不支持原生 60 帧),转去讲 Gen-4 或只说该型号已下线 3 个对象
涉及对象:MiniMax-M3.1-Flash、claude-sonnet-5.5、gemini-4-carbon
原因:这一型号的状态在检索结果里已经变化,模型要么整段跳到新模型,要么只交代退役而不交代历史规格,恰好踩中判分里必须精确给出的几项。
环境
全程都在检索,没有落下最终答复 2 个对象
涉及对象:LongCat-2.5、ernie-5.5-flash-preview
原因:联网连续返回空结果(分别 9 次和 6 次)外加工具超时,25 轮上限被检索重试耗完,两个对象都被判 0 分。
能力
信息收集不到位,没问订阅档位或预算,也没问批量总量 2 个对象
涉及对象:spark-x2.6、gpt-6-astra
原因:一上来就按假设直接给方案,跳过了决定积分预算和套餐选择的基础项,信息收集维度被压在 0.6 至 0.73。
题目
最后转向版权与合同,没再收束回视频规格和批量方案 2 个对象
涉及对象:claude-opus-5-5、gpt-6-astra
原因:用户后期确实追问了商单版权,助手顺着新问题作答,但数值维度按最初话题做一致性前置检查,最终回答被判 0。

特例

Hy4
以 0.8004 通过,但工具超时 5 次、报错 15 次、联网空结果 7 次,是环境波动最大的通过者;其最终节选还停在“我先把计费和导出限制查准”,说明通过并不等于答复已经收尾。
claude-opus-5-5
同一对象两个维度分别判 0.0 和 0.85,是全表最大分歧,反映判分对“最终回答”的认定不一致。
claude-fable-5-1
对话已经跑完,但判分环节中断,没有进入计分,属评测链路问题而非答题表现。

非能力因素记录(本题被选中的那次运行)

资源、网络、额度、判分链路的问题,不应算作答题能力。

Hy4
工具等待超时 5 次;工具报错 15 次;联网检索空结果 7 次
LongCat-2.5
工具等待超时 3 次;工具报错 10 次;联网检索空结果 9 次
MiniMax-M3.1-Flash
工具报错 2 次;联网检索空结果 3 次
claude-opus-5-5
工具报错 1 次;工具参数用错 1 次;联网检索空结果 3 次
claude-sonnet-5.5
工具报错 5 次;工具参数用错 1 次;联网检索空结果 8 次
ernie-5.5-flash-preview
工具等待超时 3 次;工具报错 4 次;联网检索空结果 6 次
gemini-4-carbon
联网检索空结果 19 次
gpt-6-astra
工具等待超时 1 次;工具报错 4 次;联网检索空结果 4 次
gpt-6.1-sol
工具报错 1 次;联网检索空结果 3 次
kimi-k3.1-pro
工具等待超时 2 次;工具报错 13 次;联网检索空结果 7 次
qwen4-max
工具等待超时 3 次;工具报错 4 次;联网检索空结果 5 次
spark-x2.6
联网检索空结果 8 次
step-5-preview
工具报错 2 次;联网检索空结果 6 次
归因:低分主要来自测试对象能力,约占 55%:8 个未通过对象中,3 个没讲清 Gen-3 关键规格、4 个的积分与成本账缺失或算错、2 个没问到订阅档位或批量总量,都属于检索之后整合与规划能力不足。题目与评测设计约占 30%:该型号已退役仍要求精确旧规格,话题一致性检查又与对话后期转向版权相冲突,直接把 2 个对象的一项判成 0,且通过与否的标准不一致。环境约占 15%:2 个对象在连续空结果下耗尽轮数没有最终答复,另有 12 个对象因框架未落盘或判分中断完全没有成绩,本报告结论仅基于 13 个已判分对象。

5. 题目质量问题

只有数据里真有证据才列入
高
标准答案与事实漂移冲突:判分要求精确给出 Gen-3 Alpha Turbo 的旧规格,但该型号在本次检索中已被证明退役或下线
证据:MiniMax-M3.1-Flash 的判分写明“正确指出 Gen-3 Alpha Turbo 已退役”,却仍因没给 24 帧、5 积分每秒被扣到 0.5;claude-sonnet-5.5 因为答“已下线、无法核实”触发步骤缺失上限,最高只给 0.4。
建议:把“该型号已退役”列为合格答案,规格分拆成历史规格与当前替代模型两条独立给分路径,避免如实回答反而失分。
高
话题一致性的一票否决与多轮对话的自然演变打架
证据:claude-opus-5-5 与 gpt-6-astra 因按用户最后的版权问题作答,数值维度被判 0;而同样以版权收尾的 gpt-6.1-sol、qwen4-max 却拿到 0.9024 和 0.9648 并通场,处理标准前后不一。
建议:明确规定以用户最后一轮问题判定主题一致性,或取消前置一票否决、改为按轮次分段给分。
中
同一对象在不同维度之间分数极端分裂,说明规则对“最终回答”的口径没写清
证据:claude-opus-5-5 出现 0.0 与 0.85,gpt-6-astra 出现 0.0 与 0.73,落差都超过 0.7。
建议:在每条规则里写明取哪一轮作答、是否允许跨轮累计,并统一通过者与未通过者的判分理由留痕。
一句话结论:这题考的是“先问清需求、再给准规格和成本账”的顾问式对话,13 个已判分对象里 5 个通过、平均 0.6748,失分集中在 Gen-3 已退役前提下的规格交代与积分测算,而事实过时和一票否决规则又把扣分放大了。
← 返回题目分析总览