狄利克雷分布

狄利克雷分布是一组连续多变量概率分布，是多变量普遍化的Β分布。为了纪念德国数学家約翰·彼得·古斯塔夫·勒熱納·狄利克雷（Peter Gustav Lejeune Dirichlet）而命名。狄利克雷分布常作为贝叶斯统计的先验概率。当狄利克雷分布维度趋向无限时，这过程便称为狄利克雷过程（Dirichlet process）。

狄利克雷分布奠定了狄利克雷过程的基础，被广泛应用于自然语言处理特别是主题模型（topic model）的研究。

概率密度函数

此图展示了当K=3、参数α从α=(0.3, 0.3, 0.3)变化到(2.0, 2.0, 2.0)时，密度函数取对数后的变化。

维度K ≥ 2的狄利克雷分布在参数α₁, ..., α_K > 0上、基于欧几里得空间R^K-1里的勒贝格测度有个概率密度函数，定义为：

$f(x_1,\dots ,x_K;{\alpha }_1,\dots ,{\alpha }_K)=\frac{1}{\mathrm{B}(\alpha )}\prod _{i=1}^K{x}_i^{{\alpha }_i-1}$

其中$𝒙$满足$\sum _{i=1}^K{x}_i=1$，同时对于任意$i\in \{1,\dots ,K\}$，都有$x_i\ge 0$。即$𝒙$在(K − 1)维的单纯形开集上密度为0。

归一化衡量B(α)是多项Β函数，可以用Γ函数（gamma function）表示：

$\mathrm{B}(\alpha )=\frac{\prod _{i=1}^K\mathrm{\Gamma }({\alpha }_i)}{\mathrm{\Gamma }\left(\sum _{i=1}^K{\alpha }_i\right)},\alpha =({\alpha }_1,\dots ,{\alpha }_K).$

参见

• 約翰·彼得·古斯塔夫·勒熱納·狄利克雷
• 狄利克雷过程
• 隐含狄利克雷分布

參考

• Introduction to the Dirichlet Distribution and Related Processes by Frigyik, Kapila and Gupta
• Dirichlet processes by Yee Whye Teh