抛硬币例子解释最大似然与贝叶斯

本文主要讲述了贝叶斯后验分布与最大似然分布之间的差别。贝叶斯后验分布从参数分布的角度去认识参数；而最大似然是一个点估计法，估计的是模型最有可能的参数组合，相对于贝叶斯后验估计来说，它只考虑了参数分布的期望，即最大似然的结果就是后验分布的期望，没有考虑到参数分布中其他的可能性。

贝叶斯建模

贝叶斯建模：将问题转化为贝叶斯公式的形式，即给定数据 $D$ ，参数 $\theta$ ，我们要求解的是参数 $\theta$ 的后验分布 $p(\theta|D)$ 。

通用形式可以写为

$D \sim p(D|\theta) \leftarrow 数据生成分布，模型数据的分布 \\ \theta \sim p(\theta) \leftarrow 参数的先验分布 \\$

我们想要学习参数在给定数据下的后验分布 $p(\theta|D)$

$p(\theta|D) \propto p(D|\theta)p(\theta)$

假设我们有一个硬币，我们不知道这个硬币是公平的还是不公平的，我们想要通过抛硬币的结果来估计这个硬币是公平的概率。
我们有一系列观测值 $X_1,X_2,...X_N$ ，其中 $X_i \in \{0,1\}$ ，1表示正面，0表示反面。

假设每个 $X_i$ 来自于数据生成分布，服从 $P(X_i = 1|\pi) = \pi$

进一步假设 $X_i$ 是独立同分布的，即

$P(X_1,X_2,...X_N|\pi) = \prod_{i=1}^{N}P(X_i|\pi)$

由于 $P(X-i|\pi) = \pi^{X_i}(1-\pi)^{1-X_i}$ ，上述式子可以写成

$P(X_1,X_2,...X_N|\pi) = \pi^{\sum_{i=1}^{N}X_i}(1-\pi)^{N-\sum_{i=1}^{N}X_i}$

由此可以得到我们需要的 $\pi$ 关于数据 $X_i$ 的后验分布,

$p(\pi|X_1,X_2,...X_N) \propto \pi^{\sum_{i=1}^{N}X_i}(1-\pi)^{N-\sum_{i=1}^{N}X_i}p(\pi)$

观察上述式子，紧接着来到下一个问题，我们如何选择先验分布 $p(\pi)$ ？

$Beta(a,b) = \frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\pi^{a-1}(1-\pi)^{b-1}$

可以发现，Beta分布的形式与似然项形式相近，因此我们可以尝试使用Beta分布作为先验分布。

$p(\pi|X_1,X_2,...X_N) \propto \pi^{\sum_{i=1}^{N}X_i+a-1}(1-\pi)^{N-\sum_{i=1}^{N}X_i+b-1}$

观察上式发现：

因此，后验分布服从Beta分布

$\pi|X_1,X_2,...X_N \sim Beta(a+\sum_i X_i , b+N - \sum_iX_i)$

注意到，我们选择Beta分布作为参数 $\pi$ 的鲜艳分布，我们发现它的后验分布同样是也是Beta分布，这种性质称为共轭性。

共轭先验价值：有了共轭先验这个性质，我们只需要收集足够多的数据就可以估计出后验分布，如抛硬币问题中，我们只需要计数正面向上的次数 $\sum_iX_i$ 以及反面向上次数 $N - \sum_iX_i$

基于抛硬币的贝叶斯建模问题，我们可以得到参数 $\pi$ 后验分布的期望以及方差

$E(\pi|X_1,X_2,...X_N) = \frac{a+\sum_iX_i}{a+b+N} \\ Var(\pi|X_1,X_2,...X_N) = \frac{(a+\sum_iX_i)(b+N-\sum_iX_i)}{(a+b+N)^2(a+b+N+1)}$

注意到随着 $N$ 的增加，

与最大似然估计比较（寻找一个最佳点估计）

$\pi_{MLE} = \frac{\sum_iX_i}{N}$

贝叶斯估计捕获了参数的不确定性，因此在数据量较少的情况下，贝叶斯估计更加稳定。