题目分析 / C21zh_ecommerce_data_analysis

电商数据分析 C21zh_ecommerce_data_analysis

中等平均分 0.835通过 19 / 已评 21
通过率
90.5%
19 / 21 个已评对象
平均分
0.835
最高 0.970 · 最低 0.200
题目类型
中文题
多轮对话 + 工具调用
题目质量提示
3 条
见本页末尾

1. 这道题是什么

用户想核算最近一场抖音直播带货的真实投入产出比和盈亏,并怀疑只用成交额除以投放费算不准。题目要求模型结合后台已有的数据,把退货、佣金、商品成本、坑位费、主播分成、平台技术服务费等一并纳入,算出这场到底赚没赚钱。核心考察的是模型能否识别用户只看见“投放费”这一个成本项的盲区,主动把完整成本结构补齐并把账算对。

用户原话(题目开场)

我想算一下最近一场抖音直播带货的ROI,后台数据我都有,但感觉光看成交额除以投放费不太准,想搞清楚到底赚没赚钱。

题目要求

  • 算清最近一场抖音直播带货的投入产出比,而不是简单用成交额除以投放费
  • 判断这场生意到底赚没赚钱,并说清亏损或盈利的来龙去脉
  • 核算必须基于用户后台已有的真实数据,不能只谈方法论
  • 要解释清楚“投放效率看起来不错”与“实际不赚钱”之间的差别是从哪来的
  • 涉及费率、退货、分成等口径时,需要先问用户或明确说明自己采用的假设

要求的交付物

  • 一份包含退货后实际结算额与各项扣费的完整盈亏核算
  • 明确的盈亏结论与具体金额
  • 投放投入产出比与真实盈利能力之间的对照说明
  • 是否可以继续做这类场次的经营判断

2. 判分点与判分细节

信息收集质量

是否在对话中逐步问全成交额与投放费、退货率、佣金率、商品成本率这四项基础信息;缺任意一项,该项得分不超过 0.7。同时看是否主动追问坑位费、主播分成、平台技术服务费、退货后佣金与平台费是否退还等深入信息,每覆盖一项加分。

意图理解与引导深度

是否看出用户只把投放费当成唯一成本,并在第一轮就识别出需要完整成本结构,而不是先给个模糊答案再补问;是否体现对直播带货结算模型的了解。

数值计算准确性

只看数字对不对,不看建议好坏。要按用户逐步透露的参数核对退货后结算额(28 万扣 18% 为 22.96 万)以及商品成本、佣金、主播分成、坑位费、平台服务费、投放费各自的计算基准,并与程序化参考值(约亏 9,192 元)比对。

内容质量

不看数字,只看回答是否完整、专业、可用:是否覆盖成本结构、是否点出亏损原因、是否给出可执行的后续判断。

话题一致性

作为前置检查项:最终回答必须仍在“抖音直播带货的投入产出比与利润核算”这一主题上,完全跑偏时数值准确性与内容质量两项直接判 0。

判分细节

四个评分项各占 0 到 1 分,先过话题一致性这道前置检查,一旦跑题则数值准确性与内容质量一票否决、直接归零。信息收集项设硬门槛:成交额与投放费、退货率、佣金率、商品成本率四项基础信息缺任何一项都不得超过 0.7 分,深入项(坑位费、主播分成、平台技术服务费、退货后费用是否退还)按覆盖数量往上加分,基础四项齐全且主动追问两项以上才能拿满分。数值项只对照程序化算出的参考值,退货后结算额 22.96 万、参考亏损约 9,192 元,凡把费率挂错计算基准、或把题面没给的运费包装混进主结论,都算口径不一致而扣分。内容项不因数字错误重复扣分,只看完整性与实用性,但同样受话题一致性的前置约束。汇总后为 0 到 1 的总分,14 个有效对象的平均分为 0.8452,其中 13 个通过。

机制说明:每题由判分模型按多个维度独立打分(完成度、稳健性、安全性等),综合分 = 0.8 × 完成度 + 0.1 × 稳健性 + 0.1 × 安全性;本批数据里稳健性与安全性恒为 1.0,因此综合分只剩完成度一个变量。综合分 ≥ 0.75 记为通过。源数据只保留了判分规则的 300 字预览。

3. 各测试对象得分统计

得分、结果、部署、耗时、Token 五个维度;按得分从高到低
测试对象得分结果部署 / 环境耗时Token失分要点
Hy41 次运行0.970通过正常8m 51s129,168通过;助手多轮中都能准确识别ROAS与ROI差异,主动梳理完整成本结构,并在数据不足时严格区分确定项与假设项,结论清晰且可执行。工具调用总体恰当且多数计算正确,但一次…
claude-sonnet-5.51 次运行0.963通过正常1m 58s50,173通过;回答紧扣抖音直播带货ROI与利润核算,完整拆解了退货、商品成本、佣金、主播分成、平台服务费、千川投放和坑位费,并用多情景说明退货佣金/服务费是否退回对利润的重大…
qwen4-max1 次运行0.931通过正常3m 46s82,108通过;核对损益表各项:结算额22.96万、佣金4.592万、平台费0.4592万、主播分成2.296万、货成本10.332万、投放5.2万、坑位费1万,全部与参考值精…
kimi-k3.1-pro2 次运行0.930通过正常4m 06s64,223通过;回答完整拆解了退货后成交额及商品、佣金、主播、坑位、平台和投放成本,并用表格给出两种费用冲回口径下的税前利润,明确揭示了“投放ROI 5.38但实际亏损”的核心…
gpt-6.1-sol1 次运行0.927通过正常1m 11s20,335通过;助手整体完成度高:正确区分投放ROI与真实利润,围绕退货、成本、佣金、坑位费等做结构化拆解,并给出暂估亏损、费用口径敏感性和保本ROI,较好揭示了“表面ROI好…
gpt-6-astra1 次运行0.916通过正常1m 04s25,350通过;回答完整拆解了已知成本,并按退费与不退费两种情形展示暂算利润,明确区分假设与实际结算规则,也提醒物流、人工、货损等遗漏成本。清楚揭示了“投放ROI好看不等于赚钱…
claude-opus-5-51 次运行0.915通过正常2m 48s85,719通过;核心计算正确:正确扣除18%退货得到实收22.96万,并按实收计算佣金(4.59万)、主播分成(2.30万)、平台费(0.46万)、商品成本(10.33万),加…
Qwen3.8-Max(xhigh)测试报告0.908通过仅报告14m 30s130,975得分来自测试报告;没有轨迹与判分理由,无法复盘过程
Qwen3.8-Flash(xhigh)测试报告0.906通过仅报告11m 30s174,105得分来自测试报告;没有轨迹与判分理由,无法复盘过程
deepseek-v4.1-flash-1017测试报告0.878通过仅报告10m 50s755,303得分来自测试报告;没有轨迹与判分理由,无法复盘过程
LongCat-2.51 次运行0.876通过正常15m 12s383,456通过;助手正确计算了核心口径:扣退货后的成交额22.96万、佣金4.592万、主播分成2.296万、平台费0.4592万、商品成本10.332万、投放5.2万、坑位费…
GLM 5.3测试报告0.872通过仅报告15m 10s877,680得分来自测试报告;没有轨迹与判分理由,无法复盘过程
GLM-5.3-Flash测试报告0.868通过仅报告18m 10s178,797得分来自测试报告;没有轨迹与判分理由,无法复盘过程
claude-fable-5-12 次运行0.868通过正常2m 22s36,693通过;核心账目与参考值完全一致:实际成交额22.96万、佣金4.592万、主播分成2.296万、商品成本10.332万、平台费0.4592万、投放5.2万、坑位1万,…
spark-x2.61 次运行0.867通过正常3m 15s49,037通过;助手整体准确理解了用户从“表面ROI”到“真实盈亏”的需求,主动补全成本结构并逐步追问关键信息,对话节奏和业务分析都很强。但在计算环节存在未发现的算术/口径不一…
MiniMax-M3.1-Flash1 次运行0.850通过正常7m 26s1,153,354通过;助手正确扣除了退货得到净GMV 22.96万,投放ROI 4.42,主播分成、商品成本、投流、坑位费等核心项与参考一致,并给出了佣金按支付GMV/净GMV两种口…
mimo-v2.6-pro-ultraspeed测试报告0.825通过仅报告6m 10s85,020得分来自测试报告;没有轨迹与判分理由,无法复盘过程
step-5-preview1 次运行0.822通过正常3m 00s25,308通过;助手正确计算了实际成交额22.96万、佣金4.592万、平台扣点0.4592万、主播分成2.296万、投放ROI4.42,并给出两种佣金口径,净利润也为负。但商…
gemini-4-carbon1 次运行0.797通过正常27s18,435通过;实际成交额、投放、坑位费、佣金+主播分成、平台扣点计算正确且净利润为负;但商品成本错误地按成交GMV的45%计算,未按退货后实际成交额计算,导致总成本和亏损金额…
Kimi-K3(max)测试报告0.443未通过仅报告9m 10s5,617得分来自测试报告;没有轨迹与判分理由,无法复盘过程
ernie-5.5-flash-preview1 次运行0.200未通过正常57s83,254
表中标注「仅报告」的 7 个对象(Qwen3.8-Max(xhigh)、Qwen3.8-Flash(xhigh)、deepseek-v4.1-flash-1017、GLM 5.3、GLM-5.3-Flash、mimo-v2.6-pro-ultraspeed、Kimi-K3(max))没有轨迹文件,得分、耗时、Token 取自各自的测试报告 PDF,没有判分理由与过程信息,因此不参与下面的共性错误归因。

4. 多对象出错统计

共性错误按影响对象数排序,特例单列
环境
想查平台退款规则却撞上联网检索连续空结果,白白消耗轮次和时间 3 个对象
涉及对象:Hy4、LongCat-2.5、qwen4-max
原因:这三个对象都在对话里发起了联网搜索,但检索源返回空,环境侧拿不到结果;只能靠自有知识作答,其中 LongCat-2.5 还为此耗到 12 轮、911.98 秒。
能力
在题目给定的成本之外自行补入运费、包装等未提供的项目,算出的亏损(约 3.4 万至 3.5 万)明显大于参考口径 2 个对象
涉及对象:claude-fable-5-1、claude-opus-5-5
原因:两者从经营视角补全成本并没有错,但把假设性成本与题给参数的账混在主结论里,偏离按给定参数计算的参考值(约亏 9,192 元),数值项因此被扣分。
能力
把题目当成表格或工具的开发任务,最终回答停在过程性描述上,没有落回“到底赚没赚钱” 2 个对象
涉及对象:LongCat-2.5、MiniMax-M3.1-Flash
原因:两者分别用了 38.3 万与 115.3 万词元、12 轮与 25 轮,忙着生成文件、装公式库、做联动工具,最后一段仍是“文件已生成”“再把它做进工具里”,结论与追问都被工程动作挤掉。
环境
容器内命令返回非零退出码,靠重复尝试绕过 2 个对象
涉及对象:MiniMax-M3.1-Flash、claude-opus-5-5
原因:一个出现 2 次、一个出现 1 次,多是公式或脚本环境配置问题;虽最终完成核算,但额外占用轮次,也增加了计算口径漂移的风险。

特例

ernie-5.5-flash-preview
14 个有效对象中唯一未通过的一个,得分只有 0.2,用了 9 轮、8.3 万词元、57.26 秒却没有任何最终回答留下来,看不到它到底给了什么结论;而这道题所有对象都没有判分理由记录,所以它具体错在哪无从查证。
gpt-6-astra / gpt-6.1-sol / kimi-k3.1-pro
三家都自设假设、并列给出两套口径的结果(有利口径亏 9,192 元、不利口径亏约 2 万),并未被判为错误,得分仍在 0.91 至 0.93 之间——说明分情形列账是可接受的作答方式。
claude-fable-5-1
只花 4 轮、3.7 万词元、142.49 秒拿到 0.868;对比 LongCat-2.5 用 12 轮、38.3 万词元、911.98 秒只得 0.876,十倍资源并没有换来分数提升,说明这题更看口径与结论,不看做多细。

非能力因素记录(本题被选中的那次运行)

资源、网络、额度、判分链路的问题,不应算作答题能力。

Hy4
联网检索空结果 2 次
LongCat-2.5
联网检索空结果 2 次
qwen4-max
联网检索空结果 2 次
归因:14 个有效对象里 13 个通过、平均 0.8452,题目整体可解,低分并不主要来自题目本身。估算约 75% 归因于测试对象能力:唯一失败的对象没交出成文结论,多数扣分则来自口径混用和“给表格不给结论”。约 15% 归因于题目设计:题面没有锁定“退货后佣金与平台费是否退还”这一关键口径,导致答案在亏 9,192 元与亏约 2 万之间分叉。约 10% 归因于环境:3 个对象共 6 次联网空结果、2 个对象共 3 次命令非零退出。

5. 题目质量问题

只有数据里真有证据才列入
高
判分理由一条都没有留下,包括唯一未通过的对象
证据:14 个已评对象的“失分最小判分理由”记录全部为空;ernie-5.5-flash-preview 只得 0.2 分,同样没有任何扣分说明。
建议:要求每次评分落盘各判分项的得分与理由,失败样本尤其要留,否则无法复盘失分点、也无法验证扣分是否合理。
中
关键计算口径没有在题面锁定,答案被迫在两种假设间摇摆
证据:gpt-6-astra、gpt-6.1-sol、kimi-k3.1-pro 都只能自设假设并给两档结果(亏 9,192 元与约 2 万),claude-sonnet-5.5 直接说“我不能替你确认”,最终亏损金额因此出现明显分叉。
建议:在题面或对话中给出后台结算规则,或明确要求“分两种口径分别列账并说明差异影响”,让评分有唯一锚点。
低
题目容易诱发联网查平台规则,但检索源不可用
证据:Hy4、LongCat-2.5、qwen4-max 都记录“联网空结果 2 次”,合计 6 次空检索。
建议:在题面直接给出平台结算规则,或写明“查不到可按常见规则假设并标注”,减少无谓空转。
一句话结论:这是一道整体可解的业务核算题:13 个对象通过、平均分 0.8452,失分主要出在口径混用与“给表格不给结论”,而唯一失败样本、全空的判分理由和四成缺失的轨迹才是报告需要标注的风险。
← 返回题目分析总览