查看“︁最大后验概率”︁的源代码

{{Cleanup-rewrite}}
{{noteTA
|G1=Math
|1= zh-cn: 后验;zh-tw:事後;zh-hant:後驗
|2= zh-cn: 贝叶斯;zh-tw:貝氏;zh-hant:貝葉斯
}}
在贝叶斯[[统计学]]中，「最大后验概率估计」是[[后验概率]]分布的[[众数 (数学)|众数]]。利用最大后验概率估计可以获得对实验数据中无法直接观察到的量的[[点估计]]。它与[[最大似然估计]]中的经典方法有密切关系，但是它使用了一个增广的[[最优化|优化目标]]，进一步考虑了被估计量的[[先验概率]]分布。所以最大后验概率估计可以看作是{{le|规则化|regularization (mathematics)}}的最大似然估计。

假设我们需要根据观察数据 <math>x</math> 估计没有观察到的总体参数 <math>\theta</math>，让 <math>f</math> 作为 <math>x</math> 的[[采样分布]]，这样 <math>f(x|\theta)</math> 就是总体参数为 <math>\theta</math> 时 <math>x</math> 的概率。函数

:<math>\theta \mapsto f(x | \theta) \!</math>

即为[[似然函数]]，其估计

:<math>\hat{\theta}_{\mathrm{ML}}(x) = \arg\max_{\theta} f(x | \theta) \!</math>

就是 <math>\theta</math> 的最大似然估计。

假设 <math>\theta</math> 存在一个先验分布 <math>g</math>，这就允许我们将 <math>\theta</math> 作为 [[贝叶斯统计]]中的[[随机变量]]，这样 <math>\theta</math> 的后验分布就是：

:<math>\theta \mapsto \frac{f(x | \theta) \, g(\theta)}{\int_{\Theta} f(x | \theta') \, g(\theta') \, d\theta'} \!</math>

其中 <math>\Theta</math> 是 <math>g</math> 的domain，这是[[贝叶斯定理]]的直接应用。

最后验估计方法于是估计 <math>\theta</math> 为这个随机变量的后验分布的[[众数 (数学)|众数]]：

:<math>\hat{\theta}_{\mathrm{MAP}}(x)
= \arg\max_{\theta} \frac{f(x | \theta) \, g(\theta)}
  {\int_{\Theta} f(x | \theta') \, g(\theta') \, d\theta'}
= \arg\max_{\theta} f(x | \theta) \, g(\theta)
\!</math>

后验分布的分母与 <math>\theta</math> 无关，所以在优化过程中不起作用。注意当先验 <math>g</math> 是[[常函数|常数函数]]时最大后验估计与最大似然估计重合。

最大后验估计可以用以下几种方法计算：
# 解析方法，当后验分布的模能够用 [[解析解]] 方式表示的时候用这种方法。当使用[[共轭先验]] 的时候就是这种情况。
# 通过如[[共扼积分法]]或者{{le|牛顿法|Newton's method in optimization}}这样的[[数值]][[优化]]方法进行，这通常需要一阶或者[[导数]]，导数需要通过解析或者数值方法得到。
# 通过 [[期望最大化算法]] 的修改实现，这种方法不需要后验密度的导数。

尽管最大后验估计与贝叶斯统计共享先验分布的使用，通常并不认为它是一种贝叶斯方法，这是因为最大后验估计是点估计，然而贝叶斯方法的特点是使用这些分布来总结数据、得到推论。贝叶斯方法试图算出后验[[均值]]或者[[中值]]以及[[posterior interval]]，而不是后验模。尤其是当后验分布没有一个简单的解析形式的时候更是这样：在这种情况下，后验分布可以使用 [[Markov chain Monte Carlo]] 技术来模拟，但是找到它的模的优化是很困难或者是不可能的。

== 参考文献 ==
{{reflist}}
* M. DeGroot, ''最优统计决策'', McGraw-Hill, (1970).

[[Category:估计理论]]
[[Category:统计学]]