用户在抖音小店准备上架创意摆件和收纳用品两类家居商品,听说保证金和扣分规则近期有变动,希望助手查清现行保证金标准,并指出上架时必须避开的违规红线。对话中用户会陆续补充营业执照经营范围、店铺类型、月销规模、资金压力、回款周期等信息。助手既要查准带时效性的平台政策,也要把这些信息落成可直接照做的建议。
最终回答必须落在“抖音小店保证金标准 + 违规红线”上;一旦完全跑偏到别的主题(如投放诊断),内容质量直接判零
有没有给出家居细分品类的保证金标准、个体店与企业店的差异,以及试运营/0元入驻的考核期、订单量限制、货款冻结、转正条件等具体规则
用户只说了“家居类目”时,助手是否察觉细分品类、入驻模式、月销规模、店铺类型等关键信息缺失并主动询问
用户逐轮透露的具体品类、500元试运营意向、跨平台销量、图片授权等信息,助手是否准确接住并据此修正前面的建议
用户的需求可能从查保证金演变为选入驻模式、控资金压力、看回款周期,助手是否跟住这条主线而不是原地重复检索
基础信息(具体商品类目、月销售额规模)缺任一项即扣到中等以下;深入信息(试运营意向、店铺类型、违规历史、其他平台运营经验)每覆盖一项加分
判分由三条独立维度给分:对话理解与响应质量、内容质量、信息收集质量,各自打 0 到 1 分。内容质量带前置检查:最终回答若偏离“保证金标准 + 违规红线”主题,该项直接 0 分。内容质量另有硬性分档:家居细分品类的具体保证金金额、个体店与企业店的差异未说明,最高只到 0.3;试运营的订单量限制、货款冻结、考核期时长、转正条件缺失再继续扣。信息收集维度规定,具体经营类目与月销售额规模这两项基础信息缺任一项,分数不得超过 0.7,深入信息每覆盖一项加分。对话质量维度看重多轮意图理解、缺失信息追问、信息修正捕捉与需求演变跟踪,反复空搜、重复抓同一页面、长时间只有中间过程不给结论都会被扣分。
| 测试对象 | 得分 | 结果 | 部署 / 环境 | 耗时 | Token | 失分要点 |
|---|---|---|---|---|---|---|
| qwen4-max1 次运行 | 0.918 | 通过 | 有波动超时1、空结果12 | 8m 13s | 178,404 | 通过;助手在全部7轮中表现接近最优:(1) 第一轮即识别关键信息缺失(主体类型、细分品类、品牌归属、开店状态)并主动追问;(2) 每轮新增信息(摆件+收纳混卖、个体户… |
| mimo-v2.6-pro-ultraspeed测试报告 | 0.802 | 通过 | 仅报告 | 5m 00s | 702,935 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| step-5-preview1 次运行 | 0.782 | 通过 | 有波动超时1、工具报错2、空结果6 | 12m 29s | 802,062 | 通过;助手主动追问并确认了商品类目/材质等基础信息,但始终未询问月销售额规模这一关键基础信息;也未追问店铺类型、试运营意向、违规历史、运营经验或供应链等深入信息,因此… |
| GLM-5.3-Flash测试报告 | 0.752 | 通过 | 仅报告 | 9m 50s | 136,379 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| claude-opus-5-51 次运行 | 0.752 | 通过 | 有波动用法错误5、空结果7 | 5m 05s | 285,526 | 通过;话题一致性通过,全程围绕抖店保证金与违规红线。优点:对'淘宝搬图风险'警示到位(水印/重复商品/盗图投诉)、类目归属差异化(收纳归家居日用、摆件归家居饰品,保证… |
| gpt-6.1-sol1 次运行 | 0.640 | 未通过 | 有波动空结果8 | 4m 11s | 144,507 | 助手整体话题一致,围绕保证金、类目归属、违规风险、图片搬运和经营合规给出了较实用的建议,并多次提醒不要套用旧规则。但未满足核心必备项:没有给出可核验的家居/摆件/收纳类目具体保证金标准,也未清楚说明个体店与企业店差异;对… |
| ernie-5.5-flash-preview1 次运行 | 0.632 | 未通过 | 有波动工具报错3、空结果11 | 1m 23s | 111,399 | 整体话题一致,助手提供了较完整的家居类目保证金范围、多类目按最高收取的思路、盗图/IP侵权警示、9.9低价引流风险和回款周期建议,并给出可执行拍摄清单,实操性较强。但其未能核实最新官方标准,给出的家居/摆件/收纳保证金数… |
| gemini-4-carbon1 次运行 | 0.622 | 未通过 | 有波动空结果6 | 2m 15s | 43,300 | 回答紧扣保证金与违规红线,给出官方查询入口、家居类目经验区间、多类目就高、0元入驻、回款对比等实操建议。但未核实并准确说明最新、细分类目标准,也未充分区分0元入驻与试运营机制,且遗漏淘宝搬图违规风险和9.9引流款监管点,… |
| gpt-6-astra1 次运行 | 0.616 | 未通过 | 有波动工具报错1、空结果14 | 3m 10s | 80,901 | 回答围绕商品描述不符、质量与图片合规等违规风险展开,未偏离原主题;对当前批次抽检、实拍更新、SKU匹配、不合格品隔离及供应商验收提出了具体可执行建议,也准确指出重拍不能解决质量不稳定、免责声明不能免除责任。但按完整决策链… |
| claude-sonnet-5.51 次运行 | 0.496 | 未通过 | 有波动空结果13 | 4m 03s | 192,409 | 最终回答完全转向千川投放诊断,未回答原始任务核心的抖音小店保证金标准和违规红线;且前文也未给出准确保证金、试运营/0元入驻规则等必备信息,触发话题一致性前置判0。 |
| spark-x2.61 次运行 | 0.448 | 未通过 | 有波动空结果22 | 2m 20s | 168,161 | 助手几乎没有主动收集关键信息:未追问具体家居细分类目、月销售额规模,也未询问店铺类型、试运营/0元入驻、违规历史、运营经验或供应链情况。虽然用户提供了“家居类目”这一粗略信息,但助手没有进一步澄清,整体信息收集质量很低。 |
| kimi-k3.1-pro2 次运行 | 0.406 | 未通过 | 有波动空结果10 | 5m 21s | 846,047 | 回答仍停留在检索和中间说明,没有形成完整可执行答复。虽确认了规则版本和‘违规积分已下线’,但未最终给出家居/创意摆件/收纳用品对应保证金标准、个体店/企业店差异、试运营与0元入驻区别、搬图违规风险等核心信息,Step1和… |
| LongCat-2.51 次运行 | 0.376 | 未通过 | 有波动超时1、工具报错3、空结果8 | 4m 01s | 530,884 | The assistant conducted extensive research (15+ searches/fetches) and found some relevant data on 家居类目保证金 (ind… |
| GLM 5.3测试报告 | 0.318 | 未通过 | 仅报告 | 4m 00s | 332,451 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| Hy41 次运行 | 0.318 | 未通过 | 有波动超时1、工具报错1、空结果7 | 3m 41s | 464,381 | 助手始终围绕抖音小店保证金与违规规则检索,未偏离主题,但对话中没有形成最终答复:未给出家居相关类目保证金标准、个体/企业差异、试运营/补缴规则,也未识别创意摆件与收纳用品类目差异、0元入驻与试运营区别、淘宝搬图风险等关键… |
| Kimi-K3(max)测试报告 | 0.304 | 未通过 | 仅报告 | 6m 50s | 493,878 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| Qwen3.8-Max(xhigh)测试报告 | 0.304 | 未通过 | 仅报告 | 5m 50s | 457,645 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| MiniMax-M3.1-Flash1 次运行 | 0.280 | 未通过 | 有波动超时1、空结果7 | 2m 43s | 426,613 | 助手最终没有给出任何面向用户的回答,未说明家居相关类目保证金标准、个体/企业店差异、试运营机制、违规红线或可操作建议;虽然进行了搜索和接口探测,但核心问题未解决,内容质量和实操性为0。 |
| deepseek-v4.1-flash-1017测试报告 | 0.250 | 未通过 | 仅报告 | 4m 20s | 318,472 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| Qwen3.8-Flash(xhigh)测试报告 | 0.236 | 未通过 | 仅报告 | 4m 50s | 512,289 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
资源、网络、额度、判分链路的问题,不应算作答题能力。