题目分析 / C12zh_ecommerce_operations

电商运营 C12zh_ecommerce_operations

偏难平均分 0.513通过 5 / 已评 20
通过率
25.0%
5 / 20 个已评对象
平均分
0.513
最高 0.918 · 最低 0.236
题目类型
中文题
多轮对话 + 工具调用
题目质量提示
4 条
见本页末尾

1. 这道题是什么

用户在抖音小店准备上架创意摆件和收纳用品两类家居商品,听说保证金和扣分规则近期有变动,希望助手查清现行保证金标准,并指出上架时必须避开的违规红线。对话中用户会陆续补充营业执照经营范围、店铺类型、月销规模、资金压力、回款周期等信息。助手既要查准带时效性的平台政策,也要把这些信息落成可直接照做的建议。

用户原话(题目开场)

抖音小店的保证金和扣分规则最近好像有变动,我想上架一些家居类目的新品,能不能帮我查查现在的保证金标准,还有哪些违规红线是需要特别注意的?

题目要求

  • 查清抖音小店现行的保证金标准,重点是家居相关类目
  • 说明近期规则变动,特别是扣分与违规处理机制的变化
  • 指出家居类目上架时必须规避的违规红线
  • 在关键信息不足时(具体细分品类、店铺类型、月销规模、入驻模式)主动追问
  • 结合用户实际情况(试运营500元门槛、备货资金压力、回款周期)给可落地的建议,并说明信息的时效与可靠程度

要求的交付物

  • 创意摆件、收纳用品等家居相关类目的保证金金额区间与官方查询路径
  • 现行违规红线清单,以及近期规则变动的说明
  • 针对该店铺的入驻/试运营选择、资金与回款建议
  • 一份可直接照着做的核查行动清单(后台入口、待确认事项、风险点)

2. 判分点与判分细节

话题一致性(前置检查)

最终回答必须落在“抖音小店保证金标准 + 违规红线”上;一旦完全跑偏到别的主题(如投放诊断),内容质量直接判零

关键政策信息是否齐全可执行

有没有给出家居细分品类的保证金标准、个体店与企业店的差异,以及试运营/0元入驻的考核期、订单量限制、货款冻结、转正条件等具体规则

信息缺失识别与主动追问

用户只说了“家居类目”时,助手是否察觉细分品类、入驻模式、月销规模、店铺类型等关键信息缺失并主动询问

新增信息的捕捉与建议调整

用户逐轮透露的具体品类、500元试运营意向、跨平台销量、图片授权等信息,助手是否准确接住并据此修正前面的建议

需求演变跟踪

用户的需求可能从查保证金演变为选入驻模式、控资金压力、看回款周期,助手是否跟住这条主线而不是原地重复检索

信息收集的深度

基础信息(具体商品类目、月销售额规模)缺任一项即扣到中等以下;深入信息(试运营意向、店铺类型、违规历史、其他平台运营经验)每覆盖一项加分

判分细节

判分由三条独立维度给分:对话理解与响应质量、内容质量、信息收集质量,各自打 0 到 1 分。内容质量带前置检查:最终回答若偏离“保证金标准 + 违规红线”主题,该项直接 0 分。内容质量另有硬性分档:家居细分品类的具体保证金金额、个体店与企业店的差异未说明,最高只到 0.3;试运营的订单量限制、货款冻结、考核期时长、转正条件缺失再继续扣。信息收集维度规定,具体经营类目与月销售额规模这两项基础信息缺任一项,分数不得超过 0.7,深入信息每覆盖一项加分。对话质量维度看重多轮意图理解、缺失信息追问、信息修正捕捉与需求演变跟踪,反复空搜、重复抓同一页面、长时间只有中间过程不给结论都会被扣分。

机制说明:每题由判分模型按多个维度独立打分(完成度、稳健性、安全性等),综合分 = 0.8 × 完成度 + 0.1 × 稳健性 + 0.1 × 安全性;本批数据里稳健性与安全性恒为 1.0,因此综合分只剩完成度一个变量。综合分 ≥ 0.75 记为通过。源数据只保留了判分规则的 300 字预览。

3. 各测试对象得分统计

得分、结果、部署、耗时、Token 五个维度;按得分从高到低
测试对象得分结果部署 / 环境耗时Token失分要点
qwen4-max1 次运行0.918通过有波动超时1、空结果128m 13s178,404通过;助手在全部7轮中表现接近最优:(1) 第一轮即识别关键信息缺失(主体类型、细分品类、品牌归属、开店状态)并主动追问;(2) 每轮新增信息(摆件+收纳混卖、个体户…
mimo-v2.6-pro-ultraspeed测试报告0.802通过仅报告5m 00s702,935得分来自测试报告;没有轨迹与判分理由,无法复盘过程
step-5-preview1 次运行0.782通过有波动超时1、工具报错2、空结果612m 29s802,062通过;助手主动追问并确认了商品类目/材质等基础信息,但始终未询问月销售额规模这一关键基础信息;也未追问店铺类型、试运营意向、违规历史、运营经验或供应链等深入信息,因此…
GLM-5.3-Flash测试报告0.752通过仅报告9m 50s136,379得分来自测试报告;没有轨迹与判分理由,无法复盘过程
claude-opus-5-51 次运行0.752通过有波动用法错误5、空结果75m 05s285,526通过;话题一致性通过,全程围绕抖店保证金与违规红线。优点:对'淘宝搬图风险'警示到位(水印/重复商品/盗图投诉)、类目归属差异化(收纳归家居日用、摆件归家居饰品,保证…
gpt-6.1-sol1 次运行0.640未通过有波动空结果84m 11s144,507助手整体话题一致,围绕保证金、类目归属、违规风险、图片搬运和经营合规给出了较实用的建议,并多次提醒不要套用旧规则。但未满足核心必备项:没有给出可核验的家居/摆件/收纳类目具体保证金标准,也未清楚说明个体店与企业店差异;对…
ernie-5.5-flash-preview1 次运行0.632未通过有波动工具报错3、空结果111m 23s111,399整体话题一致,助手提供了较完整的家居类目保证金范围、多类目按最高收取的思路、盗图/IP侵权警示、9.9低价引流风险和回款周期建议,并给出可执行拍摄清单,实操性较强。但其未能核实最新官方标准,给出的家居/摆件/收纳保证金数…
gemini-4-carbon1 次运行0.622未通过有波动空结果62m 15s43,300回答紧扣保证金与违规红线,给出官方查询入口、家居类目经验区间、多类目就高、0元入驻、回款对比等实操建议。但未核实并准确说明最新、细分类目标准,也未充分区分0元入驻与试运营机制,且遗漏淘宝搬图违规风险和9.9引流款监管点,…
gpt-6-astra1 次运行0.616未通过有波动工具报错1、空结果143m 10s80,901回答围绕商品描述不符、质量与图片合规等违规风险展开,未偏离原主题;对当前批次抽检、实拍更新、SKU匹配、不合格品隔离及供应商验收提出了具体可执行建议,也准确指出重拍不能解决质量不稳定、免责声明不能免除责任。但按完整决策链…
claude-sonnet-5.51 次运行0.496未通过有波动空结果134m 03s192,409最终回答完全转向千川投放诊断,未回答原始任务核心的抖音小店保证金标准和违规红线;且前文也未给出准确保证金、试运营/0元入驻规则等必备信息,触发话题一致性前置判0。
spark-x2.61 次运行0.448未通过有波动空结果222m 20s168,161助手几乎没有主动收集关键信息:未追问具体家居细分类目、月销售额规模,也未询问店铺类型、试运营/0元入驻、违规历史、运营经验或供应链情况。虽然用户提供了“家居类目”这一粗略信息,但助手没有进一步澄清,整体信息收集质量很低。
kimi-k3.1-pro2 次运行0.406未通过有波动空结果105m 21s846,047回答仍停留在检索和中间说明,没有形成完整可执行答复。虽确认了规则版本和‘违规积分已下线’,但未最终给出家居/创意摆件/收纳用品对应保证金标准、个体店/企业店差异、试运营与0元入驻区别、搬图违规风险等核心信息,Step1和…
LongCat-2.51 次运行0.376未通过有波动超时1、工具报错3、空结果84m 01s530,884The assistant conducted extensive research (15+ searches/fetches) and found some relevant data on 家居类目保证金 (ind…
GLM 5.3测试报告0.318未通过仅报告4m 00s332,451得分来自测试报告;没有轨迹与判分理由,无法复盘过程
Hy41 次运行0.318未通过有波动超时1、工具报错1、空结果73m 41s464,381助手始终围绕抖音小店保证金与违规规则检索,未偏离主题,但对话中没有形成最终答复:未给出家居相关类目保证金标准、个体/企业差异、试运营/补缴规则,也未识别创意摆件与收纳用品类目差异、0元入驻与试运营区别、淘宝搬图风险等关键…
Kimi-K3(max)测试报告0.304未通过仅报告6m 50s493,878得分来自测试报告;没有轨迹与判分理由,无法复盘过程
Qwen3.8-Max(xhigh)测试报告0.304未通过仅报告5m 50s457,645得分来自测试报告;没有轨迹与判分理由,无法复盘过程
MiniMax-M3.1-Flash1 次运行0.280未通过有波动超时1、空结果72m 43s426,613助手最终没有给出任何面向用户的回答,未说明家居相关类目保证金标准、个体/企业店差异、试运营机制、违规红线或可操作建议;虽然进行了搜索和接口探测,但核心问题未解决,内容质量和实操性为0。
deepseek-v4.1-flash-1017测试报告0.250未通过仅报告4m 20s318,472得分来自测试报告;没有轨迹与判分理由,无法复盘过程
Qwen3.8-Flash(xhigh)测试报告0.236未通过仅报告4m 50s512,289得分来自测试报告;没有轨迹与判分理由,无法复盘过程
表中标注「仅报告」的 7 个对象(mimo-v2.6-pro-ultraspeed、GLM-5.3-Flash、GLM 5.3、Kimi-K3(max)、Qwen3.8-Max(xhigh)、deepseek-v4.1-flash-1017、Qwen3.8-Flash(xhigh))没有轨迹文件,得分、耗时、Token 取自各自的测试报告 PDF,没有判分理由与过程信息,因此不参与下面的共性错误归因。

4. 多对象出错统计

共性错误按影响对象数排序,特例单列
能力
只检索不结论:全程反复搜索,始终没向用户输出一句话的答复 4 个对象
涉及对象:Hy4、LongCat-2.5、MiniMax-M3.1-Flash、kimi-k3.1-pro
原因:把“查政策”当成开放式检索任务,缺少收口意识,轮数耗尽(均为 25 轮)时仍停在中间步骤,token 消耗普遍在 40 万到 85 万之间却零交付
能力
缺必备政策信息:没给出家居细分品类保证金金额、个体与企业差异或试运营细则 5 个对象
涉及对象:gpt-6-astra、gpt-6.1-sol、gemini-4-carbon、ernie-5.5-flash-preview、spark-x2.6
原因:检索空结果后转而输出通用建议,核心金额与规则细节没查实,直接触发内容质量封顶 0.3 到 0.45
能力
检索策略呆板:空结果后仍重复同类搜索,不换入口也不给阶段性结论 5 个对象
涉及对象:gpt-6.1-sol、gemini-4-carbon、LongCat-2.5、kimi-k3.1-pro、gpt-6-astra
原因:多次搜索返回空后未及时改用官方规则页或换关键词,判分理由普遍记载“重复抓取同一官方首页”“过度/重复搜索”
能力
未追问基础信息:没问具体细分品类或月销规模就往下答 4 个对象
涉及对象:spark-x2.6、Hy4、MiniMax-M3.1-Flash、LongCat-2.5
原因:首轮直接进入检索,把“家居类目”当作足够的信息,导致后续建议泛化,信息收集维度被压到 0.1 到 0.6
能力
把未核实的网传数字当结论给出(如个体店1000-2000元、500元门槛) 2 个对象
涉及对象:gemini-4-carbon、ernie-5.5-flash-preview
原因:检索失败后用记忆中的旧标准填补空白,虽标注了区间但未说明无法核实,被判“信息准确性风险”

特例

claude-sonnet-5.5
两个判分维度极端分裂:内容质量判 0 分,理由是最终回答完全转向千川投放诊断、触发话题一致性前置判零;但对话质量判 0.88,认为追问店铺类型、类目、品牌与执照类型都做得好。总分 0.496 未通过,属于典型的“过程好、收口跑偏”
gpt-6.1-sol
同样是分裂型:对话质量 0.88,但内容质量因缺必备保证金标准被封顶 0.3,两维平均后 0.64 仍不通过。它是少数明确没有把网传500元当已核实事实的对象,谨慎度被单独表扬
12个无轨迹对象(含 GLM 5.3、Kimi-K3(max)、Qwen3.7 系列等)
被计为未评级,原因是框架没有落盘轨迹文件,另有 claude-fable-5-1 对话跑完但判分环节中断。这 12 个对象没有分数,不参与平均分统计

非能力因素记录(本题被选中的那次运行)

资源、网络、额度、判分链路的问题,不应算作答题能力。

Hy4
工具等待超时 1 次;工具报错 1 次;联网检索空结果 7 次
LongCat-2.5
工具等待超时 1 次;工具报错 3 次;联网检索空结果 8 次
MiniMax-M3.1-Flash
工具等待超时 1 次;联网检索空结果 7 次
claude-opus-5-5
工具参数用错 5 次;联网检索空结果 7 次;判分模型失败 1 次
claude-sonnet-5.5
联网检索空结果 13 次
ernie-5.5-flash-preview
工具报错 3 次;联网检索空结果 11 次
gemini-4-carbon
联网检索空结果 6 次
gpt-6-astra
工具报错 1 次;联网检索空结果 14 次
gpt-6.1-sol
联网检索空结果 8 次
kimi-k3.1-pro
联网检索空结果 10 次
qwen4-max
工具等待超时 1 次;联网检索空结果 12 次
spark-x2.6
联网检索空结果 22 次
step-5-preview
工具等待超时 1 次;工具报错 2 次;联网检索空结果 6 次
归因:低分主因是能力,约 45%:四个对象跑满 25 轮仍未产出答复,五个对象漏掉必备的保证金金额与试运营细则,检索到官方入口却停在入口、不做提炼,属于调查与收口能力不足。环境因素约占 40%:联网检索空结果在这批对象身上出现 6 到 22 次,还伴随 HTTP 429/500、工具超时、容器缺依赖库,12 个对象连轨迹都没有落盘或判分中断,检索通道本身不可靠。题目设计约占 15%:判分把“具体金额”列为必备项并一级封顶 0.3,而题目又要求查的是随时变动的实时政策,形成高耦合。

5. 题目质量问题

只有数据里真有证据才列入
高
必备项封顶规则过严,与“对话质量”维度严重脱节,同一对象两维分差可达 0.58 至 0.88
证据:gpt-6.1-sol 内容质量 0.3、对话质量 0.88;claude-sonnet-5.5 内容质量 0.0、对话质量 0.88;gpt-6-astra 0.3 对 0.76。多个判分理由都写“按 Step1 缺失封顶 0.3”
建议:把必备项改为分档扣分而非一票封顶,或把金额缺失与对话质量加权明确写进总分红线,避免过程优秀但结论缺失的对象被压到及格线以下
高
题目高度依赖实时联网,检索通道不稳定直接污染区分度
证据:13 个已评级对象全部有联网空结果,最多 22 次;qwen4-max 空 12 次仍过关、step-5-preview 空 6 次过关,而四个对象 25 轮全耗在搜不到上;另有 12 个对象无轨迹
建议:为这类时效性题目预置可用的官方规则快照或镜像入口,并在判分里区分“检索不到”与“检索到了却不提炼”
中
判分要求“具体金额”,但题库没有给出权威答案锚点,判分只能依赖裁判模型对“是否核实”的主观判断
证据:裁判理由里同时出现 500 元、1000-2000 元、2000-5000 元、4000-10000 元等说法,只判“未核实最新标准”,没有对照标准答案
建议:在题目材料里附一份带日期的官方保证金与违规规则摘录作为评分锚点,明确“与锚点一致/明确标注无法核实/编造”三档处理
低
题面没有明确对话轮数上限与“必须给最终答复”的期望,多个对象把轮数耗尽当作正常结束
证据:Hy4、LongCat-2.5、MiniMax-M3.1-Flash、kimi-k3.1-pro 均为 25 轮且最终回答为空
建议:在题面或评分说明中写明轮数预算,并要求在预算用完前收口成一版答复,让“不收口”成为明确的失败模式
一句话结论:这道题考的是“查准并落实一条随时变动的平台政策”,25 个对象中仅 3 个通过(平均 0.56),失败主要分两类:一类是搜不到就停在过程里不给答复,一类是缺了必备金额而建议泛化,检索通道不稳又把这两类问题放大。
← 返回题目分析总览