题目分析 / C19en_ab_testing_sample_size

B Testing Sample Size C19en_ab_testing_sample_size

中等平均分 0.778通过 17 / 已评 21
通过率
81.0%
17 / 21 个已评对象
平均分
0.778
最高 0.856 · 最低 0.513
题目类型
中文题
多轮对话 + 工具调用
题目质量提示
3 条
见本页末尾

1. 这道题是什么

这道题让模型为一次小红书笔记的 A/B 测试估算“每个变体至少需要多少样本”。用户只给出主指标是收藏率、并且担心多个变体分不到足够流量,其余关键参数都要靠多轮追问补齐。模型需要说明样本量取决于基线收藏率、想检测的提升幅度、显著性与统计功效,再给出每组和总样本量,并按多重比较做校正、折算成所需天数。

用户原话(题目开场)

I'm planning an A/B test for Xiaohongshu notes and my primary metric is save rate. I've got multiple variants planned and I'm worried we might not have enough traffic per note to get anything statistically significant. What's the rough threshold I should be looking at for minimum sample size per variant?

题目要求

  • 给出每个变体的最小样本量门槛(用户要的是“大致数量级”而非精确推导)
  • 主指标必须锁定为收藏率
  • 实验有多个变体,需要说明多重比较带来的影响并做相应校正
  • 判断现有流量是否足以跑出统计显著的结果
  • 对话中陆续补充的约束:基线收藏率约 3.2%、希望检测的绝对提升约 0.5 个百分点、5 组(4 个变体加对照)、每天约 5 万曝光、计划跑两周
  • 回答要多轮跟进:新奇效应、冷启动、能否用投放工具先测、砍变体是否有效等延伸问题

要求的交付物

  • 未校正与多重比较校正后的两套“每组最小样本量”
  • 全实验总样本量,以及按每日可分配流量折算的所需天数与“流量够不够”的结论
  • 针对流量不足风险的落地建议(减少变体、压缩检测目标、改用投放测、如何检查起步期偏差等)

2. 判分点与判分细节

澄清提问质量

分批次收集信息:平台与指标、基线收藏率、想检测的提升幅度、变体数量、显著性水平与统计功效、每日流量与可跑时长;缺任一项即扣分,并且要看整段对话是否逐步加深理解,而不是只看第一轮。

整段对话的理解与回应质量

是否识别出用户提问背后的信息缺口,是否主动提出多重比较校正这一关键点,是否在用户补充新约束(基线、变体数、流量、时长、绝对提升)后及时更新计算,而不是停留在首轮答案。

样本量计算的数值准确性

只核对数字:以两个比例检验的参考值为基准,未校正约每组 19,448、Bonferroni 校正后约每组 27,637,落在容差带内才给高分;完全不做计算或用完全不同口径会接近最低档。

内容质量

不看数字,只看完整性、专业性与实用性:是否有假设说明、公式含义、流量折算表、以及可执行的下一步建议;答案完全偏离 A/B 测试样本量规划则直接记 0。

判分细节

四个维度各自按 0 到 1 打分:澄清提问、整段对话理解、数值准确性、内容质量。有一条主题一致性预检,如果回答完全偏离“小红书收藏率的 A/B 测试样本量规划”,内容质量直接判 0。澄清项按批次考查,第一批基础设置(平台、指标、基线收藏率、提升幅度、变体数、显著性与功效)缺一项就扣,还要看有没有继续追问每日流量、可跑时长等实操约束。数值项是纯粹的数值比对,与参考值(每组约 19,448 / 校正后约 27,637)超出容差带就往下掉档,明显偏离时只给 0.3 到 0.6。最终分数是各维度加权后的综合判定,未通过的三个对象都卡在数值这一项。

机制说明:每题由判分模型按多个维度独立打分(完成度、稳健性、安全性等),综合分 = 0.8 × 完成度 + 0.1 × 稳健性 + 0.1 × 安全性;本批数据里稳健性与安全性恒为 1.0,因此综合分只剩完成度一个变量。综合分 ≥ 0.75 记为通过。源数据只保留了判分规则的 300 字预览。

3. 各测试对象得分统计

得分、结果、部署、耗时、Token 五个维度;按得分从高到低
测试对象得分结果部署 / 环境耗时Token失分要点
gpt-6.1-sol1 次运行0.856通过正常49s18,557通过;The assistant correctly identified and applied Bonferroni correction: 4 comparis…
Qwen3.8-Flash(xhigh)测试报告0.852通过仅报告13m 30s519,018得分来自测试报告;没有轨迹与判分理由,无法复盘过程
Qwen3.8-Max(xhigh)测试报告0.845通过仅报告15m 50s333,180得分来自测试报告;没有轨迹与判分理由,无法复盘过程
deepseek-v4.1-flash-1017测试报告0.836通过仅报告6m 50s127,946得分来自测试报告;没有轨迹与判分理由,无法复盘过程
qwen4-max1 次运行0.835通过正常3m 42s77,413通过;The assistant correctly recognized the need for Bonferroni correction (α = 0.05/…
kimi-k3.1-pro2 次运行0.826通过正常3m 28s74,812通过;The assistant correctly used Bonferroni alpha=0.0125, obtained the right critica…
claude-sonnet-5.51 次运行0.817通过正常2m 19s96,706通过;The assistant correctly recognized 4 comparisons and applied Bonferroni alpha=0.…
mimo-v2.6-pro-ultraspeed测试报告0.790通过仅报告5m 10s447,346得分来自测试报告;没有轨迹与判分理由,无法复盘过程
gemini-4-carbon1 次运行0.790通过正常45s49,936通过;The assistant correctly used the provided parameters and applied Bonferroni corr…
GLM-5.3-Flash测试报告0.782通过仅报告8m 50s54,292得分来自测试报告;没有轨迹与判分理由,无法复盘过程
step-5-preview1 次运行0.778通过正常5m 37s105,981通过;Topic is consistent. The assistant correctly applied Bonferroni for 4 comparison…
LongCat-2.51 次运行0.774通过正常4m 49s108,845通过;The assistant correctly recognized the Bonferroni-adjusted alpha (0.0125), compu…
gpt-6-astra1 次运行0.774通过正常1m 11s30,508通过;Bonferroni alpha of 0.0125 and the roughly 3-day estimate are correct. However,…
claude-opus-5-51 次运行0.773通过正常1m 26s50,585通过;The assistant correctly applied Bonferroni correction (α=0.0125) and derived day…
GLM 5.3测试报告0.772通过仅报告8m 40s97,765得分来自测试报告;没有轨迹与判分理由,无法复盘过程
ernie-5.5-flash-preview1 次运行0.771通过有波动工具报错1、空结果63m 00s479,946通过;Topic-consistent and the assistant applied alpha=0.05/4=0.0125 Bonferroni and us…
Hy41 次运行0.765通过正常8m 21s146,502通过;Topic-consistent. Assistant used the correct p1=3.2%, p2=3.7%, delta=0.005, alph…
spark-x2.61 次运行0.747未通过正常2m 53s46,886The assistant recognized the need for Bonferroni correction and used reasonable alpha/z values, but its sample…
claude-fable-5-12 次运行0.720未通过正常3m 49s58,530The assistant correctly identified all parameters (p=0.032, delta=0.005, alpha=0.05, power=0.8, 4 comparisons)…
MiniMax-M3.1-Flash1 次运行0.719未通过正常6m 21s663,826The assistant did perform quantitative calculations using the stated baseline, effect size, alpha, and power,…
Kimi-K3(max)测试报告0.513未通过仅报告12m 30s21,834得分来自测试报告;没有轨迹与判分理由,无法复盘过程
表中标注「仅报告」的 7 个对象(Qwen3.8-Flash(xhigh)、Qwen3.8-Max(xhigh)、deepseek-v4.1-flash-1017、mimo-v2.6-pro-ultraspeed、GLM-5.3-Flash、GLM 5.3、Kimi-K3(max))没有轨迹文件,得分、耗时、Token 取自各自的测试报告 PDF,没有判分理由与过程信息,因此不参与下面的共性错误归因。

4. 多对象出错统计

共性错误按影响对象数排序,特例单列
能力
样本量计算公式选择偏离参考口径,结果比基准高出约 7.5%,落到容差带外 3 个对象
涉及对象:MiniMax-M3.1-Flash、claude-fable-5-1、spark-x2.6
原因:题面没有规定用哪种两比例公式,参考值实际按“基线比例”单侧方差计算;模型分别改用聚类稳健公式(还假设了变异系数)或两侧方差写法,得出每组约 20,900 与校正后约 29,700,统计上没错但数值对不上。
环境
联网检索连续空结果、容器缺依赖库,反复重试消耗轮次与时间 4 个对象
涉及对象:ernie-5.5-flash-preview、gemini-4-carbon、step-5-preview、MiniMax-M3.1-Flash
原因:这类题本来不需要外部检索,但运行环境仍允许联网,检索源返回空(最多一个对象出现 6 次)或缺少依赖库报错,模型被迫重试,轮数被拉长。
环境
判分模型调用失败后重试,分数可能受评测链路影响 2 个对象
涉及对象:claude-fable-5-1、claude-opus-5-5
原因:两个对象都出现“判分模型没解析出分数、随后重试”的记录,属于评测链路问题,不是被测对象的能力差异;其中一个最终恰好未通过,不能排除波动成分。
能力
澄清只覆盖统计参数,没有主动追问每日流量与可跑时长 1 个对象
涉及对象:spark-x2.6
原因:模型把基线、提升幅度、变体数、显著性、功效都问全了,但没把用户最关心的“流量够不够”所需的实操约束问出来,澄清项停在中等档。

特例

gpt-6.1-sol
全场最高分 0.856,只用了 4 轮、1.86 万 token、没有任何工具或环境错误,说明这题靠一轮内把参数和校正讲清楚就能拿高分,轮次多并不等于分高。
MiniMax-M3.1-Flash
消耗最高(66.4 万 token、25 轮、381 秒)却最难通过(0.7192),数值项只拿到 0.3;同时叠加了联网空结果与容器缺依赖两种环境问题,是“努力但方向偏”的典型。
无轨迹的 11 个对象
GLM 5.3、Kimi-K3(max)、Qwen3.7 系列、hy4-preview 等 11 个对象没有轨迹文件,未进入计分;它们不计入平均分与通过率,因此 0.7818 的均分只代表 14 个可评分对象。

非能力因素记录(本题被选中的那次运行)

资源、网络、额度、判分链路的问题,不应算作答题能力。

claude-fable-5-1
判分模型失败 1 次
claude-opus-5-5
判分模型失败 1 次
ernie-5.5-flash-preview
工具报错 1 次;联网检索空结果 6 次
gemini-4-carbon
联网检索空结果 2 次
step-5-preview
联网检索空结果 2 次
归因:低分主要来自测试对象自身能力差异,约 60%:三个未通过对象全部败在数值口径上,轨迹理解与内容质量反而不差(有对象拿到 0.88)。题目设计约占 25%:参考算法未在题面交代、容差带偏窄,导致同样合理的公式被判低分。环境约占 15%:联网空结果、缺依赖库、判分重试在多处出现,另有 11 个对象因框架未落盘而没有轨迹,影响的是样本完整性而非分数分布。

5. 题目质量问题

只有数据里真有证据才列入
中
数值判分只认一种参考算法,容差偏窄,其他正确算法被判为偏差
证据:参考值为每组约 19,448 与校正后约 27,637;未通过对象给出 20,915 / 29,714 与 20,888 / 29,686,偏差约 7.5% 就被扣到 0.5 至 0.6,判分理由明确写到“用了不同于指定基线公式的写法”。
建议:在题面或评分说明中公开允许的口径(或给出容差区间),或改为按“结果落在合理区间即可”判分。
中
及格线附近过于拥挤,一次小偏差就决定通过与否,区分度不足
证据:最低通过分 0.7648,最高未通过分 0.7472,相差仅 0.0176;三个未通过对象的数值项分别为 0.3、0.5、0.6,其余维度都在 0.7 以上。
建议:拉开维度权重或在数值项设置多档更平滑的评分,避免 0.02 的差距带来完全相反的结论。
低
判分规则在数据里被截断,基础设置清单和分档阈值无法核对
证据:四条判分规则都在 300 字左右被截断,例如“第一批基础设置(必须收集;缺任一项 →”后面内容缺失。
建议:报告附录保留完整的判分规则与各档阈值,至少保留“缺项”和“容差”的具体定义。
一句话结论:这道题考的是在参数不全时能否一边追问一边把样本量算对并做多重比较校正,整体通过率不低(14 个可评分对象中 11 个通过,均分 0.7818),失分几乎全部集中在一处:样本量公式口径与参考值不符。
← 返回题目分析总览