ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

硬币实验解析:频率学派、贝叶斯与MLE的统计推断对比

硬币实验解析:频率学派、贝叶斯与MLE的统计推断对比

1. 项目概述:硬币实验背后的统计学原理

每次抛硬币时,我们都在无意中进行着一场精妙的概率实验。作为一名数据分析师,我常常用这个简单的实验向新人解释参数估计的核心概念。硬币的正反面就像数据科学中最基础的二元分布,而通过不同方法估计硬币正面朝上的概率p,恰恰是统计推断最生动的入门课。

这个实验的价值在于:用最低的成本(只需要一枚硬币)就能演示频率学派、贝叶斯学派和极大似然估计这三种统计推断的核心方法。我建议每个学习统计的人都亲手完成这个实验,记录下真实的抛掷结果,再跟着本文的步骤进行三种方法的计算和比较。你会发现,同样的数据在不同方法论下会产生微妙的差异,这正是统计学的魅力所在。

2. 实验设计与数据收集

2.1 基础实验设置

准备一枚标准硬币(建议用人民币一元硬币),在平坦桌面上进行抛掷。为确保实验的随机性,抛掷高度建议在30cm以上,让硬币有充分旋转时间。每次抛掷后,记录结果(正面记作1,反面记作0)。实验次数建议在30次以上,这样得到的估计结果会更稳定。

重要提示:实际抛硬币时,要避免任何可能影响结果的习惯性动作,比如总用同样的方式旋转硬币。有研究表明,人为抛硬币其实存在约51%的偏向性(偏向于初始朝上的面),所以严格实验建议使用机械抛掷装置。

2.2 我的实验数据示例

这是我最近一次进行的50次抛掷结果(1=正面,0=反面):

1,0,1,1,0,1,0,0,1,1, 1,0,1,0,1,1,0,1,0,1, 0,0,1,1,0,1,1,1,0,0, 1,0,1,0,1,1,0,1,1,1, 0,1,0,1,1,0,1,0,1,1

统计得出:正面出现31次,反面19次。这个数据将用于后续三种方法的计算演示。

3. 频率学派方法:直接比例估计

3.1 计算过程

频率学派认为概率是长期频率的极限。对于硬币实验,正面概率p的估计就是简单的正面次数除以总次数:

p̂ = k/n = 31/50 = 0.62

这个估计量实际上就是样本均值,在统计学中称为"最大似然估计量"(后面会详细介绍)。它的标准误差可以用公式: SE = sqrt(p̂(1-p̂)/n) = sqrt(0.62×0.38/50) ≈ 0.068

因此,我们可以给出95%置信区间: p̂ ± 1.96×SE → [0.62-0.134, 0.62+0.134] ≈ [0.486, 0.754]

3.2 方法特点与局限

频率学派方法简单直观,但存在几个关键点需要注意:

  1. 当观测次数很少时(比如只抛了5次),估计结果可能严重偏离真实值
  2. 当p̂为0或1时(即全部是正面或反面),标准误差计算会失效
  3. 置信区间的解释容易被误解——它不是说"p有95%概率落在这个区间",而是关于重复实验的覆盖率

4. 贝叶斯方法:引入先验分布

4.1 贝叶斯框架设定

贝叶斯方法要求我们选择一个先验分布来描述对p的初始认知。对于硬币实验,最自然的选择是Beta分布,因为它是二项分布的共轭先验。

假设我们采用无信息先验Beta(1,1)(即均匀分布),则后验分布为: Beta(1+k, 1+n-k) = Beta(32, 20)

4.2 后验分布计算

后验均值(贝叶斯点估计): E[p|data] = α/(α+β) = 32/52 ≈ 0.615

95%可信区间可以通过Beta分布的分位数计算(使用统计软件): qbeta(c(0.025,0.975), 32, 20) ≈ [0.483, 0.738]

4.3 先验选择的影响

如果我们有理由相信硬币可能不公平(比如基于物理对称性的怀疑),可以使用信息性先验。例如Beta(10,10)表示倾向于认为p在0.5附近:

后验变为Beta(10+31,10+19) = Beta(41,29) 后验均值:41/70 ≈ 0.586 95%区间:[0.469, 0.698]

可以看到先验"拉回"了估计值,使其更接近0.5,这是贝叶斯方法的典型特点。

5. 极大似然估计(MLE)方法

5.1 似然函数构建

对于n次独立伯努利试验,似然函数为: L(p) = p^k (1-p)^(n-k)

对数似然: ℓ(p) = k log p + (n-k) log(1-p)

5.2 求导与极值点

对ℓ(p)求导并令导数为0: dℓ/dp = k/p - (n-k)/(1-p) = 0 解得:p̂ = k/n

这正是频率学派的点估计,说明在这个简单模型中,频率学派和MLE方法得出了相同结果。

5.3 Fisher信息量与标准误

观测信息量: I(p) = -d²ℓ/dp² = k/p² + (n-k)/(1-p)²

Fisher信息量: I(p̂) = n/(p̂(1-p̂)) = 50/(0.62×0.38) ≈ 212.25

因此标准误: SE = 1/sqrt(I(p̂)) ≈ 0.068

这与频率学派的结果一致,验证了两种方法的联系。

6. 三种方法比较与实操建议

6.1 结果对比表

方法点估计区间估计需要假设
频率学派0.620[0.486, 0.754]无
贝叶斯(无先验)0.615[0.483, 0.738]Beta(1,1)先验
贝叶斯(信息先验)0.586[0.469, 0.698]Beta(10,10)先验
MLE0.620[0.486, 0.754]模型正确

6.2 方法选择指南

  1. 当数据量充足时:三种方法结果相近,选择最简单的方法
  2. 当数据稀疏时:贝叶斯方法可以利用先验信息稳定估计
  3. 当需要模型比较时:MLE框架更方便进行模型选择
  4. 当有历史信息时:贝叶斯方法能自然地整合先验知识

6.3 实验扩展建议

  1. 尝试不同抛掷次数(如n=10,100),观察估计变化
  2. 使用明显不平衡的硬币(如加重处理)进行实验
  3. 比较不同先验对贝叶斯结果的影响
  4. 模拟连续抛掷过程,观察估计值的收敛情况

7. 常见问题与解决方案

7.1 全部为正面/反面时的处理

当k=0或k=n时,频率学派和MLE的p̂会位于边界(0或1),这通常不合理。解决方法:

  • 贝叶斯方法:使用非均匀先验(如Beta(0.5,0.5))
  • 频率学派:使用Wilson区间或Agresti-Coull调整

7.2 小样本下的区间估计

当n<30时,正态近似可能不佳。建议:

  • 使用精确二项分布计算(binom.test in R)
  • 采用bootstrap重采样方法

7.3 硬币偏差的物理检验

除了统计方法,还可以:

  1. 测量硬币两面的重量分布
  2. 检查边缘的对称性
  3. 使用高速摄影分析旋转动力学

8. 实际应用场景延伸

这个简单的硬币实验背后是统计推断的核心思想,可以延伸到:

  • A/B测试中的转化率估计
  • 质量控制中的缺陷率监测
  • 流行病学中的发病率计算
  • 金融风险管理中的违约概率评估

我在金融风控项目中就曾用类似的贝叶斯方法,将行业平均违约率作为先验,再结合公司具体数据更新后验分布。这种方法特别适合数据有限的新业务线,能有效避免极端估计。

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进