上篇：指标定义

系列前篇：业务判断｜数据证据｜建设取舍

咖啡豆促销期间销售上涨，但同期恰好遇到节假日。即使销售数字完全正确，我们仍然不知道：其中多少变化由促销造成。

因果评估要为这个判断建立可信比较：实际采取策略后的结果，与没有采取该策略时可能出现的结果相比，差多少。后者称为反事实，不能由同一对象在同一时刻同时观察。

本篇以发券为教学情形，沿着“明确问题 → 建立比较 → 检查执行 → 估计效果 → 判断与复核”展开，不代表已经开展真实实验。

一、明确问题：先确定准备评价哪项改变

“促销有效”可能指订单增加，也可能指净贡献改善。先确定人群、策略、对照、观察期、主要结果及约束，再事先约定什么改善值得采用，才能避免看到结果后挑选有利指标。

例如，将问题限定为：对符合资格的老客户，相比原策略，发放本次优惠券是否改善未来30天的人均贡献，同时保持退款和投诉在可接受范围内。

观察期应覆盖重要后果。30天只是本例设定；退款成熟较慢或购买被提前时，需要延长观察或注明阶段结果。

这一阶段完成后，应当能写出一个可被证据支持或否定的问题；若动作、结果或标准仍不明确，先补齐约定，不进入效果判断。

二、建立比较：为反事实选择有依据的来源

能够随机安排时，将符合资格的对象分配到活动组和对照组，并让两组同期运行；如果存在优惠券转赠、共享库存等相互影响，则调整分组单位或实验设计，避免一组策略改变另一组的结果。

随机化减少系统性选择差异，但有限样本仍有随机波动。身份稳定、分配比例、样本量和指标定义都需要在实施前检查。微软实验设计说明

不能随机时，先检查是否存在可信的替代比较，再选择方法：

例如，CausalImpact依赖未受干预影响的对照序列及相关关系的稳定性，模型拟合好并不能代替这些条件。方法说明

本步产出是比较方案、假设和检查证据；如果没有可信比较，就保留描述性结论，不把同比增长包装成因果效果。

三、检查执行：确认比较没有在实施中失效

方案实施后，先核对资格、分配、策略版本、触达及其他同期活动，识别漏发、串组、身份变化和数据缺失，再决定能否按原设计解释结果。

随机实验的主分析通常按原分配比较全部入组对象，包含未领券、未购买者，估计的是“分配该策略”的效果；只比较用券者和未用券者，会重新引入主动选择差异。

数仓因此需要以完整分组名单为基础，关联执行和后续交易。只有确认交易数据完整、确实没有购买时，才能将无交易记为零，不能把关联失败或来源漏到直接当零。

本步完成的标志是：分配、实际执行与结果覆盖可核对，偏差已被解释，剩余限制进入报告；未通过时先修复或重建设计。

四、估计效果：同时计算差异、精度和实际价值

在比较条件成立后，计算目标效果及不确定性，再检查约束指标和观察期是否完整，避免把一个正数直接当作可推广结论。

例如，活动组入组客户人均贡献12元，对照组10元，观察差为2元。它是平均增量的估计，不代表每个人都增加2元，还需要区间估计判断证据能区分多大的改善或损害。

技术实现应先在客户等约定分析单位上形成结果，再按实验设计计算组间差异与标准误；门店级分组时，不能把所有订单当作独立随机对象来夸大精度。

分析时间、主要指标和重复查看方式应事先安排。固定周期检验不能在第一次显著时任意停止；多指标或序贯决策需要相应方法处理。

本步产出是效果估计、区间、约束表现、执行偏差和适用范围；证据不足时明确“不确定”，不把不显著解释为已经证明无效。

五、形成决定：把证据交回最初的问题

将效果范围与事先约定的业务价值、成本及风险标准比较，再选择采用、调整、停止或继续验证，并记录负责人、使用范围和下一次复核条件，才完成从评价到决策的衔接。

结果若从老客户推广到新客户，需重新判断人群、渠道和执行条件是否改变；不能把局部证据无条件外推。

本步完成后，策略去向、证据边界和后续安排均有记录；新证据或条件变化时，回到相应设计环节复核。

快速复习

明确评价什么，建立可信比较，核实实际执行，估计差异与不确定性，再结合价值和约束作决定。数仓负责保存资格、分配、执行和结果证据，统计方法负责在明确假设下解释比较。

复习时用五问检查：比较谁、改变什么、对照可靠吗、差异有多确定、证据支持什么决定？