用户问 Runway Gen-3 Alpha Turbo 现在单次最长能生成多少秒,并想拿它给游戏混剪批量做氛围空镜;他担心 Gen-2 画质不够,想知道现在能不能直接出高质量视频、还是要自己后期处理。对话中他会陆续给出 1080p 60 帧、30 至 50 条、Standard 套餐 625 积分、已有 Topaz 等条件,最后还追加素材跳变与商单版权的问题。评测看的是助手能否先问清关键信息,再给出准确的规格、成本账和可执行的批量工作流。
是否问清最终成片的分辨率与帧率、以及当前订阅档位或预算范围;这两项缺任意一项,该项得分不超过 0.7。
是否进一步追问游戏类型或画面风格、预期批量总量、现有后期工具链;每覆盖一项加分,主动追问两项以上才算满分,只问了分辨率帧率的落在 0.4 至 0.6。
是否在首轮就识别出信息缺失并主动询问,是否准确捕捉用户中途的修正,是否跟得上需求从时长、画质到批量预算、再到版权合同的演变。
最长时长 10 秒、原生 24 帧为精确值,原生分辨率约 720p(768×1344)、不支持原生 60 帧、每秒约 5 积分;以及 5 秒约 25 积分推算出的条数与成本。只在答案偏离主题时该项直接判 0。
回答是否完整专业可执行:有没有正视 1080p 60 帧与原生输出的矛盾,有没有给出积分缺口、废片率、升级决策、后期参数与操作步骤。
四个维度各自 0 至 1 分:信息收集、多轮理解、数值准确性、内容质量。信息收集有硬门槛——成片分辨率与帧率、订阅档位或预算这两项基础信息缺任意一项就不超过 0.7;深入信息按覆盖项加分,只问到分辨率帧率而没问订阅等级的落在 0.4 至 0.6,主动追问两项以上才算满分。数值维度前置话题一致性检查:最终回答若偏离 Gen-3 规格与批量成本,直接判 0,核心技术值要求精确——最长 10 秒、原生 24 帧、原生约 720p、不支持原生 60 帧、每秒约 5 积分,5 秒约 25 积分及其成本推算也要对得上。内容质量同样有前置检查,且关键步骤缺失会封顶——只答当前替代模型、没讲清 Gen-3 本身规格与 Gen-2 对比的,最高只能给 0.4。也就是说,这题的分档上限比平均表现更决定成败:内容不错但漏掉必答规格,仍会被压在及格线以下。
| 测试对象 | 得分 | 结果 | 部署 / 环境 | 耗时 | Token | 失分要点 |
|---|---|---|---|---|---|---|
| qwen4-max1 次运行 | 0.965 | 通过 | 有波动超时3、工具报错4、空结果5 | 9m 45s | 546,432 | 通过;全程意图跟踪几乎无瑕疵。第一轮即在结尾主动追问缺失的关键信息(条数、时长、交付分辨率、预算上限),唯一小遗漏是没有明确问帧率,导致60fps硬指标到第二轮才浮现… |
| step-5-preview1 次运行 | 0.945 | 通过 | 有波动工具报错2、空结果6 | 6m 07s | 79,217 | 通过;助手整体跟上了用户需求演变,从时长/画质到预算、截图选择、跳帧修复和后期管线都有较完整响应,并准确使用了用户补充的625积分、1080p60等约束。不足是首轮未… |
| deepseek-v4.1-flash-1017测试报告 | 0.938 | 通过 | 仅报告 | 10m 50s | 451,222 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| gpt-6.1-sol1 次运行 | 0.902 | 通过 | 有波动工具报错1、空结果3 | 3m 28s | 301,516 | 通过;基础信息均已收集:成片分辨率/帧率由助手主动询问并得到明确,Runway订阅与预算虽未主动追问但用户已提供并被助手使用。深入信息中,助手主要追问了游戏类型/美术… |
| Qwen3.8-Flash(xhigh)测试报告 | 0.818 | 通过 | 仅报告 | 10m 00s | 471,526 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| Hy41 次运行 | 0.800 | 通过 | 有波动超时5、工具报错15、空结果7 | 12m 47s | 773,994 | 通过;The assistant correctly identified that Gen-3 Alpha Turbo is retired (July 2026)… |
| Qwen3.8-Max(xhigh)测试报告 | 0.796 | 通过 | 仅报告 | 13m 10s | 450,974 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| GLM 5.3测试报告 | 0.763 | 通过 | 仅报告 | 15m 30s | 443,886 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| kimi-k3.1-pro2 次运行 | 0.758 | 通过 | 有波动超时2、工具报错13、空结果7 | 10m 29s | 641,185 | 通过;助手正确回答 Gen-3 Alpha Turbo 单次最长 10 秒,并大体把分辨率描述为 720p/768p 级别、暗含不是原生 60fps;但在 credi… |
| spark-x2.61 次运行 | 0.700 | 未通过 | 有波动空结果8 | 2m 26s | 54,754 | 助手给出的关键数值基本正确:Gen-3 Alpha Turbo约10秒、720p、约24fps,且通过Topaz到1080p/60fps的表述隐含不支持原生60fps;但未提供credits消耗率、Standard套餐成… |
| claude-opus-5-51 次运行 | 0.698 | 未通过 | 有波动工具报错1、用法错误1、空结果3 | 3m 31s | 123,094 | 最终回答完全转向商用版权与合同注意事项,未涉及原始问题要求的 Runway Gen-3 Alpha Turbo 视频规格(时长、帧率、分辨率等)或批量生成成本估算。根据话题一致性前置检查,数值准确性直接判0。 |
| gpt-6-astra1 次运行 | 0.678 | 未通过 | 有波动超时1、工具报错4、空结果4 | 16m 57s | 893,260 | 最后一条实际助手回答讨论的是建筑结构漂移及静态底图合成,未回答视频规格或批量生产成本;随后仅有版权相关工具调用,没有最终答复。按题设的最终回答话题一致性前置检查,应判0分。 |
| MiniMax-M3.1-Flash1 次运行 | 0.669 | 未通过 | 有波动工具报错2、空结果3 | 3m 34s | 1,114,497 | 回答整体仍围绕 Runway 视频生成与批量工作流,且做了大量官方信息核查,指出了 Gen-3 Alpha Turbo 已退役、当前模型时长/分辨率/价格等关键事实,也给出了部分后期放大、补帧和成本估算。但对用户最新补充… |
| GLM-5.3-Flash测试报告 | 0.656 | 未通过 | 仅报告 | 18m 40s | 375,511 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| claude-sonnet-5.51 次运行 | 0.645 | 未通过 | 有波动工具报错5、用法错误1、空结果8 | 6m 10s | 1,208,486 | 助手没有给出 rubric 要求的 Gen-3 Alpha Turbo 核心规格:未明确单次最长 10 秒、原生 24fps、约 768×1344 分辨率;主要转向 Gen-4/Gen-4 Turbo,导致关键规格缺失或… |
| Kimi-K3(max)测试报告 | 0.589 | 未通过 | 仅报告 | 12m 00s | 134,314 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| gemini-4-carbon1 次运行 | 0.508 | 未通过 | 有波动空结果19 | 1m 26s | 114,275 | 主题一致。单次时长称 5 或 10 秒可接受,但关键 Credits 规格明显错误:Rubric 要求约 5 Credits/秒(5秒约25 Credits),助手称 5 秒约10-15 Credits;据此成本估算也完… |
| ernie-5.5-flash-preview1 次运行 | 0.272 | 未通过 | 有波动超时3、工具报错4、空结果6 | 5m 35s | 935,488 | The conversation contains tool calls and results but no final assistant response addressing Gen-3 Alpha Turbo’… |
| LongCat-2.51 次运行 | 0.232 | 未通过 | 有波动超时3、工具报错10、空结果9 | 5m 30s | 501,420 | The assistant did not provide a final answer with any numerical or technical specifications, so the required v… |
| mimo-v2.6-pro-ultraspeed测试报告 | 0.216 | 未通过 | 仅报告 | 8m 00s | 276,283 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
资源、网络、额度、判分链路的问题,不应算作答题能力。