贝叶斯多元线性回归

Template:回归侧栏统计学中，贝叶斯多元线性回归是一种多元线性回归（预测结果为相关随机变量向量，而非标量随机变量的线性回归）的贝叶斯推断方法。这种方法的更一般论述见最小均方误差。

细节

考虑一回归问题，其中需要预测的自变量不是实标量而是相关实数组成的m维向量。与标准回归设置一样，有n个观测值，其中每个观测i包含k−1个解释变量，归为k维向量 $𝐱_{i}$ （添加值为1的虚拟变量，以允许截距系数）。对每个观测i，可以视作m个相关回归问题： $\begin{matrix} y_{i, 1} & = 𝐱_{i}^{𝖳} 𝜷_{1} + ϵ_{i, 1} \\ ⋮ \\ y_{i, m} & = 𝐱_{i}^{𝖳} 𝜷_{m} + ϵ_{i, m} \end{matrix}$ 其中误差集 ${ϵ_{i, 1}, \dots, ϵ_{i, m}}$ 都是相关的。等价地，也可以视作单一回归问题，其中结果是行向量 $𝐲_{i}^{𝖳}$ ，回归系数向量排在一起： $𝐲_{i}^{𝖳} = 𝐱_{i}^{𝖳} 𝐁 + 𝝐_{i}^{𝖳} .$

系数矩阵B是 $k \times m$ 矩阵，其中每个回归问题的系数向量 $𝜷_{1}, \dots, 𝜷_{m}$ 垂直排列在一起： $𝐁 = [\begin{matrix} (\begin{matrix} 𝜷_{1} \end{matrix}) \dots (\begin{matrix} 𝜷_{m} \end{matrix}) \end{matrix}] = [\begin{matrix} (\begin{matrix} β_{1, 1} \\ ⋮ \\ β_{k, 1} \end{matrix}) \dots (\begin{matrix} β_{1, m} \\ ⋮ \\ β_{k, m} \end{matrix}) \end{matrix}] .$

每个观测i的噪声向量 $𝝐_{i}$ 服从联合正态分布，因此给定观测的结果是相关的： $𝝐_{i} \sim N (0, 𝜮_{ϵ}) .$

可以将整个回归问题写成矩阵形式： $𝐘 = 𝐗 𝐁 + 𝐄,$ 其中Y、E是 $n \times m$ 矩阵。设计矩阵X是 $n \times k$ 矩阵，观测如标准线性回归垂直排列： $𝐗 = [\begin{matrix} 𝐱_{1}^{𝖳} \\ 𝐱_{2}^{𝖳} \\ ⋮ \\ 𝐱_{n}^{𝖳} \end{matrix}] = [\begin{matrix} x_{1, 1} & \dots & x_{1, k} \\ x_{2, 1} & \dots & x_{2, k} \\ ⋮ & ⋱ & ⋮ \\ x_{n, 1} & \dots & x_{n, k} \end{matrix}] .$

经典频率学派Template:Link-en解利用摩尔－彭若斯广义逆，简单地估计回归系数矩阵 $\hat{𝐁}$ ： $\hat{𝐁} = (𝐗^{𝖳} 𝐗)^{- 1} 𝐗^{𝖳} 𝐘 .$

求贝叶斯解，要先指定条件似然，再找到适当的共轭先验。与线性贝叶斯回归不同，可以指定一个自然的条件共轭先验（与规模相关）。

把条件似然写成^[1] $ρ (𝐄 | 𝜮_{ϵ}) \propto | 𝜮_{ϵ} |^{- n / 2} \exp (- \frac{1}{2} tr (𝐄^{𝖳} 𝐄 𝜮_{ϵ}^{- 1})),$ 误差 $𝐄$ 表为 $𝐘, 𝐗, 𝐁$ ，则有 $ρ (𝐘 | 𝐗, 𝐁, 𝜮_{ϵ}) \propto | 𝜮_{ϵ} |^{- n / 2} \exp (- \frac{1}{2} tr ((𝐘 - 𝐗 𝐁)^{𝖳} (𝐘 - 𝐗 𝐁) 𝜮_{ϵ}^{- 1})),$

寻找一个自然共轭先验——联合密度 $ρ (𝐁, Σ_{ϵ})$ ，其泛函形式与似然相同。由于似然在 $𝐁$ 中是二次的，因此我们重写似然使其在 $(𝐁 - \hat{𝐁})$ （与经典样本估计的差）是正态的。用与Template:Link-en相同的技术，可用矩阵形式的平方和分解指数项。不过此处还要用到矩阵微分（克罗内克积和向量化变换）。

首先，应用平方和得到新的似然表达式： $ρ (𝐘 | 𝐗, 𝐁, 𝜮_{ϵ}) \propto | 𝜮_{ϵ} |^{- (n - k) / 2} \exp (- tr (\frac{1}{2} 𝐒^{𝖳} 𝐒 𝜮_{ϵ}^{- 1})) | 𝜮_{ϵ} |^{- k / 2} \exp (- \frac{1}{2} tr ((𝐁 - \hat{𝐁})^{𝖳} 𝐗^{𝖳} 𝐗 (𝐁 - \hat{𝐁}) 𝜮_{ϵ}^{- 1})),$ $𝐒 = 𝐘 - 𝐗 \hat{𝐁}$

我们想开发一种先验的条件形式： $ρ (𝐁, 𝜮_{ϵ}) = ρ (𝜮_{ϵ}) ρ (𝐁 | 𝜮_{ϵ}),$ 其中 $ρ (𝜮_{ϵ})$ 服从逆威沙特分布， $ρ (𝐁 | 𝜮_{ϵ})$ 是矩阵 $𝐁$ 中某种形式的正态分布。这是通过向量化变换实现的，它将似然从矩阵 $𝐁, \hat{𝐁}$ 的函数变换为向量 $𝜷 = vec (𝐁), \hat{𝜷} = vec (\hat{𝐁})$ 的函数。

$tr ((𝐁 - \hat{𝐁})^{𝖳} 𝐗^{𝖳} 𝐗 (𝐁 - \hat{𝐁}) 𝜮_{ϵ}^{- 1}) = vec (𝐁 - \hat{𝐁})^{𝖳} vec (𝐗^{𝖳} 𝐗 (𝐁 - \hat{𝐁}) 𝜮_{ϵ}^{- 1})$

令 $vec (𝐗^{𝖳} 𝐗 (𝐁 - \hat{𝐁}) 𝜮_{ϵ}^{- 1}) = (𝜮_{ϵ}^{- 1} \otimes 𝐗^{𝖳} 𝐗) vec (𝐁 - \hat{𝐁}),$ 其中 $𝐀 \otimes 𝐁$ 表示矩阵A、B的克罗内克积，其是外积的推广。

则 $\begin{matrix} vec (𝐁 - \hat{𝐁})^{𝖳} (𝜮_{ϵ}^{- 1} \otimes 𝐗^{𝖳} 𝐗) vec (𝐁 - \hat{𝐁}) \\ = (𝜷 - \hat{𝜷})^{𝖳} (𝜮_{ϵ}^{- 1} \otimes 𝐗^{𝖳} 𝐗) (𝜷 - \hat{𝜷}) \end{matrix}$ 产生的似然在 $(𝜷 - \hat{𝜷})$ 中正态。

有了更易理解的似然，就可以找到自然的（条件）共轭先验了。

共轭先验分布

由向量化的 $𝜷$ 得到的自然共轭先验形式为^[1] $ρ (𝜷, 𝜮_{ϵ}) = ρ (𝜮_{ϵ}) ρ (𝜷 | 𝜮_{ϵ}),$ 其中 $ρ (𝜮_{ϵ}) \sim 𝒲^{- 1} (𝐕_{0}, 𝝂_{0})$

$ρ (𝜷 | 𝜮_{ϵ}) \sim N (𝜷_{0}, 𝜮_{ϵ} \otimes 𝜦_{0}^{- 1}) .$

后验分布

利用上述先验与似然，可得到后验^[1] $\begin{matrix} ρ (𝜷, 𝜮_{ϵ} | 𝐘, 𝐗) \propto & | 𝜮_{ϵ} |^{- (𝝂_{0} + m + 1) / 2} \exp (- \frac{1}{2} tr (𝐕_{0} 𝜮_{ϵ}^{- 1})) \\ \times | 𝜮_{ϵ} |^{- k / 2} \exp (- \frac{1}{2} tr ((𝐁 - 𝐁_{0})^{𝖳} 𝜦_{0} (𝐁 - 𝐁_{0}) 𝜮_{ϵ}^{- 1})) \\ \times | 𝜮_{ϵ} |^{- n / 2} \exp (- \frac{1}{2} tr ((𝐘 - 𝐗 𝐁)^{𝖳} (𝐘 - 𝐗 𝐁) 𝜮_{ϵ}^{- 1})), \end{matrix}$ 其中 $vec (𝐁_{0}) = 𝜷_{0}$ 。记 $𝜦_{0} = 𝐔^{𝖳} 𝐔$ ，涉及 $𝐁$ 的项可以分类为 $\begin{matrix} {(𝐁 - 𝐁_{0})}^{𝖳} 𝜦_{0} (𝐁 - 𝐁_{0}) + {(𝐘 - 𝐗 𝐁)}^{𝖳} (𝐘 - 𝐗 𝐁) \\ = & {([\begin{matrix} 𝐘 \\ 𝐔 𝐁_{0} \end{matrix}] - [\begin{matrix} 𝐗 \\ 𝐔 \end{matrix}] 𝐁)}^{𝖳} ([\begin{matrix} 𝐘 \\ 𝐔 𝐁_{0} \end{matrix}] - [\begin{matrix} 𝐗 \\ 𝐔 \end{matrix}] 𝐁) \\ = & {([\begin{matrix} 𝐘 \\ 𝐔 𝐁_{0} \end{matrix}] - [\begin{matrix} 𝐗 \\ 𝐔 \end{matrix}] 𝐁_{n})}^{𝖳} ([\begin{matrix} 𝐘 \\ 𝐔 𝐁_{0} \end{matrix}] - [\begin{matrix} 𝐗 \\ 𝐔 \end{matrix}] 𝐁_{n}) + {(𝐁 - 𝐁_{n})}^{𝖳} (𝐗^{𝖳} 𝐗 + 𝜦_{0}) (𝐁 - 𝐁_{n}) \\ = & {(𝐘 - 𝐗 𝐁_{n})}^{𝖳} (𝐘 - 𝐗 𝐁_{n}) + {(𝐁_{0} - 𝐁_{n})}^{𝖳} 𝜦_{0} (𝐁_{0} - 𝐁_{n}) + {(𝐁 - 𝐁_{n})}^{𝖳} (𝐗^{𝖳} 𝐗 + 𝜦_{0}) (𝐁 - 𝐁_{n}), \end{matrix}$ 其中 $𝐁_{n} = {(𝐗^{𝖳} 𝐗 + 𝜦_{0})}^{- 1} (𝐗^{𝖳} 𝐗 \hat{𝐁} + 𝜦_{0} 𝐁_{0}) = {(𝐗^{𝖳} 𝐗 + 𝜦_{0})}^{- 1} (𝐗^{𝖳} 𝐘 + 𝜦_{0} 𝐁_{0}) .$

现在可以用更有用的形式来写后验： $\begin{matrix} ρ (𝜷, 𝜮_{ϵ} | 𝐘, 𝐗) \propto & | 𝜮_{ϵ} |^{- (𝝂_{0} + m + n + 1) / 2} \exp (- \frac{1}{2} tr ((𝐕_{0} + (𝐘 - 𝐗 𝐁_{𝐧})^{𝖳} (𝐘 - 𝐗 𝐁_{𝐧}) + (𝐁_{n} - 𝐁_{0})^{𝖳} 𝜦_{0} (𝐁_{n} - 𝐁_{0})) 𝜮_{ϵ}^{- 1})) \\ \times | 𝜮_{ϵ} |^{- k / 2} \exp (- \frac{1}{2} tr ((𝐁 - 𝐁_{n})^{𝖳} (𝐗^{T} 𝐗 + 𝜦_{0}) (𝐁 - 𝐁_{n}) 𝜮_{ϵ}^{- 1})) . \end{matrix}$

其形式为逆威沙特分布乘以矩阵正态分布： $ρ (𝜮_{ϵ} | 𝐘, 𝐗) \sim 𝒲^{- 1} (𝐕_{n}, 𝝂_{n})$ $ρ (𝐁 | 𝐘, 𝐗, 𝜮_{ϵ}) \sim {ℳ 𝒩}_{k, m} (𝐁_{n}, 𝜦_{n}^{- 1}, 𝜮_{ϵ}) .$

此后验的参数由下式给出 $𝐕_{n} = 𝐕_{0} + (𝐘 - 𝐗 𝐁_{𝐧})^{𝖳} (𝐘 - 𝐗 𝐁_{𝐧}) + (𝐁_{n} - 𝐁_{0})^{𝖳} 𝜦_{0} (𝐁_{n} - 𝐁_{0})$ $𝝂_{n} = 𝝂_{0} + n$ $𝐁_{n} = (𝐗^{𝖳} 𝐗 + 𝜦_{0})^{- 1} (𝐗^{𝖳} 𝐘 + 𝜦_{0} 𝐁_{0})$ $𝜦_{n} = 𝐗^{𝖳} 𝐗 + 𝜦_{0}$

另见

参考文献

Template:Reflist

↑ ^1.0 ^1.1 ^1.2 Peter E. Rossi, Greg M. Allenby, Rob McCulloch. Bayesian Statistics and Marketing. John Wiley & Sons, 2012, p. 32.

[BSaM-1] 1.0 ^1.1 ^1.2 Peter E. Rossi, Greg M. Allenby, Rob McCulloch. Bayesian Statistics and Marketing. John Wiley & Sons, 2012, p. 32.

[1]

贝叶斯多元线性回归

目录

细节

共轭先验分布

后验分布

另见

参考文献

导航菜单

贝叶斯多元线性回归

细节

共轭先验分布

后验分布

另见

参考文献

导航菜单

搜索