用户想核算最近一场抖音直播带货的真实投入产出比和盈亏,并怀疑只用成交额除以投放费算不准。题目要求模型结合后台已有的数据,把退货、佣金、商品成本、坑位费、主播分成、平台技术服务费等一并纳入,算出这场到底赚没赚钱。核心考察的是模型能否识别用户只看见“投放费”这一个成本项的盲区,主动把完整成本结构补齐并把账算对。
是否在对话中逐步问全成交额与投放费、退货率、佣金率、商品成本率这四项基础信息;缺任意一项,该项得分不超过 0.7。同时看是否主动追问坑位费、主播分成、平台技术服务费、退货后佣金与平台费是否退还等深入信息,每覆盖一项加分。
是否看出用户只把投放费当成唯一成本,并在第一轮就识别出需要完整成本结构,而不是先给个模糊答案再补问;是否体现对直播带货结算模型的了解。
只看数字对不对,不看建议好坏。要按用户逐步透露的参数核对退货后结算额(28 万扣 18% 为 22.96 万)以及商品成本、佣金、主播分成、坑位费、平台服务费、投放费各自的计算基准,并与程序化参考值(约亏 9,192 元)比对。
不看数字,只看回答是否完整、专业、可用:是否覆盖成本结构、是否点出亏损原因、是否给出可执行的后续判断。
作为前置检查项:最终回答必须仍在“抖音直播带货的投入产出比与利润核算”这一主题上,完全跑偏时数值准确性与内容质量两项直接判 0。
四个评分项各占 0 到 1 分,先过话题一致性这道前置检查,一旦跑题则数值准确性与内容质量一票否决、直接归零。信息收集项设硬门槛:成交额与投放费、退货率、佣金率、商品成本率四项基础信息缺任何一项都不得超过 0.7 分,深入项(坑位费、主播分成、平台技术服务费、退货后费用是否退还)按覆盖数量往上加分,基础四项齐全且主动追问两项以上才能拿满分。数值项只对照程序化算出的参考值,退货后结算额 22.96 万、参考亏损约 9,192 元,凡把费率挂错计算基准、或把题面没给的运费包装混进主结论,都算口径不一致而扣分。内容项不因数字错误重复扣分,只看完整性与实用性,但同样受话题一致性的前置约束。汇总后为 0 到 1 的总分,14 个有效对象的平均分为 0.8452,其中 13 个通过。
| 测试对象 | 得分 | 结果 | 部署 / 环境 | 耗时 | Token | 失分要点 |
|---|---|---|---|---|---|---|
| Hy41 次运行 | 0.970 | 通过 | 正常 | 8m 51s | 129,168 | 通过;助手多轮中都能准确识别ROAS与ROI差异,主动梳理完整成本结构,并在数据不足时严格区分确定项与假设项,结论清晰且可执行。工具调用总体恰当且多数计算正确,但一次… |
| claude-sonnet-5.51 次运行 | 0.963 | 通过 | 正常 | 1m 58s | 50,173 | 通过;回答紧扣抖音直播带货ROI与利润核算,完整拆解了退货、商品成本、佣金、主播分成、平台服务费、千川投放和坑位费,并用多情景说明退货佣金/服务费是否退回对利润的重大… |
| qwen4-max1 次运行 | 0.931 | 通过 | 正常 | 3m 46s | 82,108 | 通过;核对损益表各项:结算额22.96万、佣金4.592万、平台费0.4592万、主播分成2.296万、货成本10.332万、投放5.2万、坑位费1万,全部与参考值精… |
| kimi-k3.1-pro2 次运行 | 0.930 | 通过 | 正常 | 4m 06s | 64,223 | 通过;回答完整拆解了退货后成交额及商品、佣金、主播、坑位、平台和投放成本,并用表格给出两种费用冲回口径下的税前利润,明确揭示了“投放ROI 5.38但实际亏损”的核心… |
| gpt-6.1-sol1 次运行 | 0.927 | 通过 | 正常 | 1m 11s | 20,335 | 通过;助手整体完成度高:正确区分投放ROI与真实利润,围绕退货、成本、佣金、坑位费等做结构化拆解,并给出暂估亏损、费用口径敏感性和保本ROI,较好揭示了“表面ROI好… |
| gpt-6-astra1 次运行 | 0.916 | 通过 | 正常 | 1m 04s | 25,350 | 通过;回答完整拆解了已知成本,并按退费与不退费两种情形展示暂算利润,明确区分假设与实际结算规则,也提醒物流、人工、货损等遗漏成本。清楚揭示了“投放ROI好看不等于赚钱… |
| claude-opus-5-51 次运行 | 0.915 | 通过 | 正常 | 2m 48s | 85,719 | 通过;核心计算正确:正确扣除18%退货得到实收22.96万,并按实收计算佣金(4.59万)、主播分成(2.30万)、平台费(0.46万)、商品成本(10.33万),加… |
| Qwen3.8-Max(xhigh)测试报告 | 0.908 | 通过 | 仅报告 | 14m 30s | 130,975 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| Qwen3.8-Flash(xhigh)测试报告 | 0.906 | 通过 | 仅报告 | 11m 30s | 174,105 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| deepseek-v4.1-flash-1017测试报告 | 0.878 | 通过 | 仅报告 | 10m 50s | 755,303 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| LongCat-2.51 次运行 | 0.876 | 通过 | 正常 | 15m 12s | 383,456 | 通过;助手正确计算了核心口径:扣退货后的成交额22.96万、佣金4.592万、主播分成2.296万、平台费0.4592万、商品成本10.332万、投放5.2万、坑位费… |
| GLM 5.3测试报告 | 0.872 | 通过 | 仅报告 | 15m 10s | 877,680 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| GLM-5.3-Flash测试报告 | 0.868 | 通过 | 仅报告 | 18m 10s | 178,797 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| claude-fable-5-12 次运行 | 0.868 | 通过 | 正常 | 2m 22s | 36,693 | 通过;核心账目与参考值完全一致:实际成交额22.96万、佣金4.592万、主播分成2.296万、商品成本10.332万、平台费0.4592万、投放5.2万、坑位1万,… |
| spark-x2.61 次运行 | 0.867 | 通过 | 正常 | 3m 15s | 49,037 | 通过;助手整体准确理解了用户从“表面ROI”到“真实盈亏”的需求,主动补全成本结构并逐步追问关键信息,对话节奏和业务分析都很强。但在计算环节存在未发现的算术/口径不一… |
| MiniMax-M3.1-Flash1 次运行 | 0.850 | 通过 | 正常 | 7m 26s | 1,153,354 | 通过;助手正确扣除了退货得到净GMV 22.96万,投放ROI 4.42,主播分成、商品成本、投流、坑位费等核心项与参考一致,并给出了佣金按支付GMV/净GMV两种口… |
| mimo-v2.6-pro-ultraspeed测试报告 | 0.825 | 通过 | 仅报告 | 6m 10s | 85,020 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| step-5-preview1 次运行 | 0.822 | 通过 | 正常 | 3m 00s | 25,308 | 通过;助手正确计算了实际成交额22.96万、佣金4.592万、平台扣点0.4592万、主播分成2.296万、投放ROI4.42,并给出两种佣金口径,净利润也为负。但商… |
| gemini-4-carbon1 次运行 | 0.797 | 通过 | 正常 | 27s | 18,435 | 通过;实际成交额、投放、坑位费、佣金+主播分成、平台扣点计算正确且净利润为负;但商品成本错误地按成交GMV的45%计算,未按退货后实际成交额计算,导致总成本和亏损金额… |
| Kimi-K3(max)测试报告 | 0.443 | 未通过 | 仅报告 | 9m 10s | 5,617 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| ernie-5.5-flash-preview1 次运行 | 0.200 | 未通过 | 正常 | 57s | 83,254 |
资源、网络、额度、判分链路的问题,不应算作答题能力。