用户一开始问:已经有一批场景原图,想用 Midjourney 之类工具批量生成同一个场景的黄昏和夜晚色调版本,这个流程怎么做,有没有别的工具推荐。随着对话推进,真实需求暴露出来:这是像素风游戏美术,近 80 个场景要出白昼、黄昏、夜晚三套变体,下周末交付,本地部署图像生成模型之前没跑通,用户日常只用 Aseprite 画图和导出。所以模型真正要做的是判断 AI 生成这条路走不通,转而给出一套确定性的调色板批量替换方案,把脚本、运行环境、发光图层处理都交代清楚。
看助手有没有问清三件事:要处理的图片数量级(几十、几百还是几千)、时间有多紧、用户会不会写代码以及有没有本地显卡和部署意愿。这三项缺任意一项,这一项得分就不能超过 0.7。
加分项:是否追问对生成质量和一致性的容忍度(能不能接受色差、要不要严格保持像素风格),以及现有素材的格式和组织方式(图片、工程文件还是色板文件,是否共用同一套色板)。
不只看最终回答,而是看每一轮:第一轮有没有意识到关键信息缺失并主动追问而不是先给泛泛方案;用户后来透露近 80 个像素风场景、下周末要交、本地部署没跑通之后,有没有准确抓住并据此把方案从 AI 生成扭转到达标更稳的程序化路线。
先做前置检查:最终方案如果偏离“近 80 个像素风场景、下周末交付、不想部署本地模型、日常用 Aseprite”这些约束,内容质量直接判 0。通过检查后,再看方案完整性、专业性和实用性。
看最终给的是不是完整可运行的批量脚本,能不能直接读用户手上的色板文件、名字解析是否经得起真实文件名(例如带下划线和尺寸后缀),有没有逐像素替换的映射逻辑、依赖安装说明和清晰的运行步骤。关键必备项缺失就按低档给分。
是否把 Aseprite 内置脚本和用 Python 加图像库批处理这两条路线的取舍讲清楚,以及脚本跑失败时有没有降级或替代方案;对发光图层有没有给出具体的映射策略。
总分围绕三条主线折算:信息收集质量、意图理解与响应质量、内容质量,每项 0 到 1 分。基础约束(处理数量级、截止时间、技术栈与部署能力)只要缺一项,信息收集分不得超过 0.7;用户没给的深层信息(画质与一致性容忍度、素材格式与组织方式)每覆盖一项加分。内容质量有一道前置检查:最终方案若偏离“近 80 个像素风场景、下周末交付、不想部署本地模型、日常用 Aseprite”,直接判 0。技术路线上,规则要求 Step 3 给出完整 Python 脚本,因此只提供 Aseprite 的 Lua 脚本时上限只有 0.4;没有比较两条路线、没有失败降级方案的同样扣分。脚本最好一次就给到可用,初版带明显缺陷(黄昏版过曝泛白、把道路误判成发光体)虽然后来自行发现并修正,仍按约 0.1 扣减;未经实际运行验证的脚本不能算“已验证可用”。
| 测试对象 | 得分 | 结果 | 部署 / 环境 | 耗时 | Token | 失分要点 |
|---|---|---|---|---|---|---|
| kimi-k3.1-pro2 次运行 | 0.947 | 通过 | 正常 | 10m 16s | 639,178 | 通过;方案与约束高度一致:明确采用确定性的 palette swap 而非 AI 重绘,正确核算 73×3=219(另需 2x 时为 228),提供可直接在 Mac… |
| mimo-v2.6-pro-ultraspeed测试报告 | 0.946 | 通过 | 仅报告 | 4m 40s | 637,436 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| claude-opus-5-51 次运行 | 0.942 | 通过 | 正常 | 6m 46s | 237,004 | 通过;助手在每一轮都准确捕捉了用户的关键约束:从最初询问MJ批量生成,到得知像素风、73个原始场景、下周截止、SD没跑通后,主动且正确地建议放弃AI生成,转向调色板批… |
| claude-sonnet-5.51 次运行 | 0.932 | 通过 | 正常 | 5m 29s | 155,872 | 通过;The assistant demonstrated strong performance across most dimensions. (1) Inform… |
| GLM-5.3-Flash测试报告 | 0.922 | 通过 | 仅报告 | 16m 10s | 272,722 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| gpt-6.1-sol1 次运行 | 0.906 | 通过 | 正常 | 7m 31s | 244,944 | 通过;助手整体对用户意图跟踪很好:首轮识别了Midjourney方案的关键约束,后续准确捕捉到像素风、73/76个资产、下周交付、不能改位置、SD环境不稳定等关键约束… |
| Qwen3.8-Max(xhigh)测试报告 | 0.898 | 通过 | 仅报告 | 16m 20s | 620,850 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| Qwen3.8-Flash(xhigh)测试报告 | 0.896 | 通过 | 仅报告 | 15m 50s | 918,657 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| qwen4-max1 次运行 | 0.888 | 通过 | 正常 | 10m 00s | 633,810 | 通过;Step 1(方案选型)完全达标:助手在用户透露像素风+像素级一致约束后,明确判定MJ/IC-Light/SD整条生成式路线不可行,转而推荐确定性逐色映射(pa… |
| deepseek-v4.1-flash-1017测试报告 | 0.860 | 通过 | 仅报告 | 10m 40s | 792,510 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| spark-x2.61 次运行 | 0.844 | 通过 | 正常 | 10m 07s | 255,049 | 通过;助手较好地捕捉了用户从Midjourney转向像素风调色板脚本的需求变化,也准确跟上了73个场景、320×180、macOS、Aseprite、发光层等关键约束… |
| Hy41 次运行 | 0.806 | 通过 | 正常 | 17m 40s | 73,337 | 通过;助手整体方向判断很正确:识别出像素风场景不应依赖 Midjourney/SD,而应采用确定性 palette swap / LUT 重映射,并给出了完整 Pyt… |
| GLM 5.3测试报告 | 0.804 | 通过 | 仅报告 | 17m 21s | 277,028 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| MiniMax-M3.1-Flash1 次运行 | 0.778 | 通过 | 正常 | 8m 30s | 1,146,084 | 通过;助手主动追问了技术栈/运行环境、输出用途和一致性要求,信息收集较有意识;但未询问批量规模(几十/几百/几千),而这是基础决策信息,缺失一项导致评分受限。 |
| LongCat-2.51 次运行 | 0.668 | 未通过 | 正常 | 23m 29s | 685,015 | 助手正确转向了非 AI 的确定性脚本方案,并提供了可运行的 Python/Pillow/Numpy 批处理脚本、环境说明和总览图等实用细节;但未完成核心要求:没有提供基于 .pal / 调色板映射的像素替换方案,没有确认… |
| gpt-6-astra1 次运行 | 0.668 | 未通过 | 正常 | 14m 39s | 157,842 | 回答切合用户最新要求:提供完整 Lua、macOS 运行命令和目录结构,确认73个场景/219张PNG,保护发光图层,对未确认对应关系的sample报错跳过,且有输出隔离和失败清理,实用性较强。但按给定rubric的硬性… |
| gemini-4-carbon1 次运行 | 0.604 | 未通过 | 正常 | 56s | 37,691 | 助手整体方向正确,能从AI生成转向像素风调色板替换,确认了73个场景、Python/Aseprite路线以及发光层保留策略,专业性和话题一致性较好。但最终用户明确要求完整可运行的Python脚本,助手给出的脚本存在关键可… |
| Kimi-K3(max)测试报告 | 0.356 | 未通过 | 仅报告 | 9m 40s | 7,025 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| step-5-preview1 次运行 | 0.264 | 未通过 | 正常 | 15m 10s | 83,647 | 助手在用户明确转向像素风、73/80个场景、一周交付、不想部署本地模型、需要锁定色板/像素网格后,没有给出任何针对性最终方案;其可见回答仍围绕 Midjourney/SD/ComfyUI 等 AI 生成工作流,完全偏离用… |