摘要：A/B 实验样本量算错，后果是两极的：算多了实验跑几个月出不了结论，算少了提前下错误结论还发现不了。本文讲清样本量公式背后的四个参数（α、功效、最小可检测效应、基线转化率）、分层计算与多重实验的分流冲突。
[收藏提示]建议把本文收进收藏夹：开实验前先花 10 分钟填一张「参数表」（α/功效/MDE/基线转化率/分层维度）；正文的公式与分层要点可以直接对着填，避免「跑三个月没结论」或「提前下错误结论」。评论区欢迎交流你们的实验平台实践。
样本量算错会发生什么？
结论：样本量不足 → 实验「该检测出的差异检测不出」（功效不足），容易把无效改版放上线，或把有效改版误杀；样本量过大 → 微小且无业务意义的差异也会显著，造成过度优化与资源浪费。
我协助团队设计实验时见过最多的两类后果，正是上面的「有效改版被误杀」和「无效差异被放大」。
行业里最经典的正面案例来自 Kohavi 与 Thomke 在《The Surprising Power of Online Experiments》中记录的 Bing 实验：一个被搁置半年的标题改版建议，在一次快速的在线受控实验中显示收入提升约 12%，最终被证实是 Bing 历史上最赚钱的创意之一（约 1 亿美元价值）。这个案例说明「实验设计正确 + 样本量足够」能改变决策质量——而反过来，样本量不足的实验只会给决策增加噪音。
样本量公式与四个关键参数
结论：样本量由四个参数决定：显著性水平 α（默认 0.05）、统计功效 1-β（默认 80%）、最小可检测效应 MDE（你关心的最小差异）、基线转化率 p。参数不同，样本量可能差一个数量级——所以「样本量是算出来的，不是估出来的」。
n = (Zα/2 + Zβ)² × 2 × p(1-p) / δ²
n：每组样本量；p：基线转化率；δ：最小可检测效应 MDE；Z：标准正态分位点（α=0.05 → 1.96；功效 80% → 0.84）
| 参数 | 常用默认 | 调低/调高的影响 |
|---|---|---|
| α（显著性水平） | 0.05 | α 越小需要样本越多（控制假阳性） |
| 功效 1-β | 80% | 功效越高需要样本越多（控制假阴性） |
| MDE（最小可检测效应） | 按业务定（如 2%） | MDE 越小需要样本越多（越敏感越贵） |
| 基线转化率 p | 按历史数据定 | p 越接近 50%，方差越大，需要样本越多 |
用公式算一遍最直观：基线转化率 10%、想检测 1 个百分点的提升（相对 10%）、α=0.05、功效 80%，每组大约需要几千样本；如果只想检测 0.5 个百分点，样本量接近翻 4 倍。这就是为什么「MDE 定多大」是实验设计里最需要业务参与的决策。
基线转化率这个参数最依赖埋点数据的准确性——如果团队在用行为分析平台管理事件与漏斗，可以直接取平台里的历史转化率作为基线，比拍脑袋估数靠谱得多。
分层计算：按流量来源、地区、设备分层
结论：分层（stratification）的意义有二：一是「分层估计」——按流量来源/地区/设备分别估计效应，降低指标方差、提升统计功效；二是「分层预算」——各层样本量按流量占比与方差分配，保证每层都有足够的检测能力。
按来源
自然搜索 / 付费投放 / 直接访问的转化率差异可能极大（10% vs 3%）。如果不分层，整体方差被高转化层主导，低转化层的真实效应会被淹没。
按地区
不同市场的用户行为差异显著，全量合并容易得出「平均意义上的结论」，无法回答「这个改版在某个市场是否有效」。
按设备
移动端与桌面端转化路径不同，效应可能一正一负互相抵消。分层后才能看到「移动端提升、桌面端无变化」这类真实信号。
实施要点：
- 分层随机：在同一层内随机分流（保证组间同质），而不是全局随机后再事后分层；
- 层内样本量：每层单独核算样本量，层内样本不足时延长实验时间或缩小分层粒度；
- 权重聚合：最终结论按各层流量占比加权汇总（分层估计），避免「大流量层绑架结论」。
多重实验与分流冲突：样本不是免费的
结论：同一流量上同时跑多个实验会互相污染：用户既在实验 A 的分组里、又在实验 B 的分组里，指标归属混乱。规范做法是「实验分层体系 + 正交分流（层间独立随机）」：不同实验分配在不同层，层与层之间正交，保证互不干扰。
落地常见的问题与对策：
- 同一层多个实验：串行排队，或拆成不同层（但层数增加会稀释每层流量）；
- 首因效应与学习效应：用户对改版的新鲜感会随时间衰减，样本量计算只解决「数量」，实验时长还要覆盖「稳定期」；
- 实验间间接影响：上游流程的实验会改变下游流量特征，跨流程实验需要独立的层隔离。
常见误区：盯 p 值、提前停止、多重比较
结论：三个高频误区：一是「每天盯 p 值，一旦显著就停止」——反复查看会在无效实验上制造假阳性；二是「多个指标里挑显著的当结论」——多重比较放大了假阳性概率；三是「样本量没到就下结论」——功效不足的显著性不可信。
| 误区 | 为什么错 | 正确做法 |
|---|---|---|
| 提前停止 | 反复查看 p 值等价于多重检验，假阳性率被放大 | 实验前定「最小样本 + 最短时长」，达标前不看结论 |
| 挑显著指标 | 指标越多，随机显著的概率越高 | 实验前定主指标与护城河指标，主指标不过则实验无效 |
| 忽略功效 | 样本不足时「不显著」不等于「没效果」 | 先算样本量，再看结果；不显著时报告置信区间与 MDE |
Kohavi 团队在《Trustworthy Online Controlled Experiments》（与 Diane Tang、Ya Xu 合著，2020 年出版）中系统总结过这些陷阱——核心思想是一致的：实验设计阶段就把「假设、指标、样本量、停止规则」写死，执行阶段只按规则裁决。
踩坑记录：流量被灰度系统分走，实验永远到不了样本量
现象：一个下单页实验按公式算需要每组 2 万样本，跑了三周还差一半，业务等不及开始质疑。
根因：同一时间段线上同时有灰度发布、推荐算法实验、营销活动多套分流，下单页流量被「切走」的比例远高于预期；且实验期间恰逢大促，转化率基线漂移导致 MDE 实际变小。
修复：建立统一的实验分层与流量预算表：每个实验登记「所属层、流量占比、预计时长、所需样本」，层间正交、同层互斥；基线波动期（大促）不开启敏感实验，或把实验窗口设在流量结构稳定期。
FAQ
Q1：样本量公式里的 Z 值怎么取？
A：α=0.05 双侧 → 1.96；功效 80% → 0.84、90% → 1.28。查标准正态表即可；也可以用统计软件或在线计算器直接出结果。
Q2：MDE 定多少合适？
A：业务定义「值得上线的最小提升」。太小的 MDE 会让实验成本失控；经验上常见 0.5%～2%（绝对转化率），但必须结合基线率与业务价值判断。
Q3：基线转化率用哪段历史数据？
A：用「实验前 4～6 周、无重大活动干扰」的稳定期数据；大促、改版、渠道结构变化都会让基线失真，样本量要随之重算。
Q4：分层一定能减少样本量吗？
A：不一定。分层减少的是「指标方差」，方差大时效果明显；层间差异小时收益有限。分层更大的价值是「结论可解释」（每个层都能回答），而不只是省样本。
Q5：实验时长和样本量冲突怎么办？
A：样本量是硬约束，时长是软约束。样本量不够就延长时长或放宽 MDE；若两者都不可行，放弃实验而不是带着低功效上线。
Q6：跑完的实验怎么汇报才规范？
A：报告「样本量、功效、MDE、主指标置信区间、分层结果、停止规则执行情况」六项；显著与否都要报告，未达标就说明未达标，不粉饰。
核心价值与实施边界是什么？
样本量计算的本质是「把实验成本与决策风险摆到桌面上」：它让团队在开跑前就知道这个实验要多久、要多少流量、能不能回答业务问题，避免「跑完才发现无效」的沉没成本。
实施边界在于：统计正确性保证「结论可信」，不保证「结论有价值」——指标选错、假设没意义，再大的样本量也没用。同时，样本量计算依赖可靠的埋点数据（基线转化率、漏斗事件），埋点不准时一切计算都是空中楼阁。如果你的团队在搭建实验体系，可以把「埋点 → 指标口径 → 样本量 → 实验平台」串成一条链路，用行为分析平台先把事件与漏斗口径打通，实验设计就能建立在可信的基线上，样本量与结论才站得住。
数据来源：
Kohavi & Thomke《The Surprising Power of Online Experiments》（Harvard Business Review，2017 年 9-10 月号，Bing 案例收入提升约 12%、价值约 1 亿美元）；Kohavi、Tang、Xu《Trustworthy Online Controlled Experiments》（2020 年出版，Cambridge University Press，实验陷阱与设计规范）；统计标准（α=0.05、功效 80%，公开统计学教材通识）。
