贝叶斯多元线性回归

Template:回归侧栏 统计学中，贝叶斯多元线性回归是一种多元线性回归（预测结果为相关随机变量向量，而非标量随机变量的线性回归）的贝叶斯推断方法。这种方法的更一般论述见最小均方误差。

细节

考虑一回归问题，其中需要预测的自变量不是实标量而是相关实数组成的m维向量。与标准回归设置一样，有n个观测值，其中每个观测i包含k−1个解释变量，归为k维向量${𝐱}_i$（添加值为1的虚拟变量，以允许截距系数）。对每个观测i，可以视作m个相关回归问题： $$\begin{array}{cc}{y}_{i,1}& ={𝐱}_i^{𝖳}{\mathit{\beta }}_1+{ϵ}_{i,1}\\ & ⋮\\ y_{i,m}& ={𝐱}_i^{𝖳}{\mathit{\beta }}_m+{ϵ}_{i,m}\end{array}$$ 其中误差集$\{{ϵ}_{i,1},\dots ,{ϵ}_{i,m}\}$都是相关的。等价地，也可以视作单一回归问题，其中结果是行向量${𝐲}_i^{𝖳}$，回归系数向量排在一起： $${𝐲}_i^{𝖳}={𝐱}_i^{𝖳}𝐁+{\mathit{ϵ}}_i^{𝖳}.$$

系数矩阵B是$k\times m$矩阵，其中每个回归问题的系数向量${\mathit{\beta }}_1,\dots ,{\mathit{\beta }}_m$垂直排列在一起： $$𝐁=\left[\begin{array}{c}\left(\begin{array}{c}\\ {\mathit{\beta }}_1\\ \end{array}\right)\cdots \left(\begin{array}{c}\\ {\mathit{\beta }}_m\\ \end{array}\right)\end{array}\right]=\left[\begin{array}{c}\left(\begin{array}{c}{\beta }_{1,1}\\ ⋮\\ {\beta }_{k,1}\end{array}\right)\cdots \left(\begin{array}{c}{\beta }_{1,m}\\ ⋮\\ {\beta }_{k,m}\end{array}\right)\end{array}\right].$$

每个观测i的噪声向量${\mathit{ϵ}}_i$服从联合正态分布，因此给定观测的结果是相关的： $${\mathit{ϵ}}_i\sim N(0,{\mathrm{\Sigma }}_{ϵ}).$$

可以将整个回归问题写成矩阵形式： $$𝐘=𝐗𝐁+𝐄,$$ 其中Y、E是$n\times m$矩阵。设计矩阵X是$n\times k$矩阵，观测如标准线性回归垂直排列： $$𝐗=\left[\begin{array}{c}{𝐱}_1^{𝖳}\\ {𝐱}_2^{𝖳}\\ ⋮\\ {𝐱}_n^{𝖳}\end{array}\right]=\left[\begin{array}{ccc}{x}_{1,1}& \cdots & x_{1,k}\\ x_{2,1}& \cdots & x_{2,k}\\ ⋮& \ddots & ⋮\\ x_{n,1}& \cdots & x_{n,k}\end{array}\right].$$

经典频率学派Template:Link-en解利用摩尔－彭若斯广义逆，简单地估计回归系数矩阵$\widehat{𝐁}$： $$\widehat{𝐁}=({𝐗}^{𝖳}𝐗{)}^{-1}{𝐗}^{𝖳}𝐘.$$

求贝叶斯解，要先指定条件似然，再找到适当的共轭先验。与线性贝叶斯回归不同，可以指定一个自然的条件共轭先验（与规模相关）。

把条件似然写成 $$\rho (𝐄|{\mathrm{\Sigma }}_{ϵ})\propto |{\mathrm{\Sigma }}_{ϵ}{|}^{-n/2}\exp (-\frac{1}{2}\mathrm{tr}\left({𝐄}^{𝖳}𝐄{\mathrm{\Sigma }}_{ϵ}^{-1}\right)),$$ 误差$𝐄$表为$𝐘,𝐗,𝐁$，则有 $$\rho (𝐘|𝐗,𝐁,{\mathrm{\Sigma }}_{ϵ})\propto |{\mathrm{\Sigma }}_{ϵ}{|}^{-n/2}\exp (-\frac{1}{2}\mathrm{tr}((𝐘-𝐗𝐁{)}^{𝖳}(𝐘-𝐗𝐁){\mathrm{\Sigma }}_{ϵ}^{-1})),$$

寻找一个自然共轭先验——联合密度$\rho (𝐁,{\mathrm{\Sigma }}_{ϵ})$，其泛函形式与似然相同。由于似然在$𝐁$中是二次的，因此我们重写似然使其在$(𝐁-\widehat{𝐁})$（与经典样本估计的差）是正态的。 用与Template:Link-en相同的技术，可用矩阵形式的平方和分解指数项。不过此处还要用到矩阵微分（克罗内克积和向量化变换）。

首先，应用平方和得到新的似然表达式： $$\rho (𝐘|𝐗,𝐁,{\mathrm{\Sigma }}_{ϵ})\propto |{\mathrm{\Sigma }}_{ϵ}{|}^{-(n-k)/2}\exp (-\mathrm{tr}(\frac{1}{2}{𝐒}^{𝖳}𝐒{\mathrm{\Sigma }}_{ϵ}^{-1}))|{\mathrm{\Sigma }}_{ϵ}{|}^{-k/2}\exp (-\frac{1}{2}\mathrm{tr}((𝐁-\widehat{𝐁}{)}^{𝖳}{𝐗}^{𝖳}𝐗(𝐁-\widehat{𝐁}){\mathrm{\Sigma }}_{ϵ}^{-1})),$$ $$𝐒=𝐘-𝐗\widehat{𝐁}$$

我们想开发一种先验的条件形式： $$\rho (𝐁,{\mathrm{\Sigma }}_{ϵ})=\rho ({\mathrm{\Sigma }}_{ϵ})\rho (𝐁|{\mathrm{\Sigma }}_{ϵ}),$$ 其中$\rho ({\mathrm{\Sigma }}_{ϵ})$服从逆威沙特分布，$\rho (𝐁|{\mathrm{\Sigma }}_{ϵ})$是矩阵$𝐁$中某种形式的正态分布。这是通过向量化变换实现的，它将似然从矩阵$𝐁,\widehat{𝐁}$的函数变换为向量$\mathit{\beta }=\mathrm{vec}(𝐁),\hat{\mathit{\beta }}=\mathrm{vec}(\widehat{𝐁})$的函数。

$$\mathrm{tr}((𝐁-\widehat{𝐁}{)}^{𝖳}{𝐗}^{𝖳}𝐗(𝐁-\widehat{𝐁}){\mathrm{\Sigma }}_{ϵ}^{-1})=\mathrm{vec}(𝐁-\widehat{𝐁}{)}^{𝖳}\mathrm{vec}({𝐗}^{𝖳}𝐗(𝐁-\widehat{𝐁}){\mathrm{\Sigma }}_{ϵ}^{-1})$$

令 $$\mathrm{vec}({𝐗}^{𝖳}𝐗(𝐁-\widehat{𝐁}){\mathrm{\Sigma }}_{ϵ}^{-1})=({\mathrm{\Sigma }}_{ϵ}^{-1}\otimes {𝐗}^{𝖳}𝐗)\mathrm{vec}(𝐁-\widehat{𝐁}),$$ 其中$𝐀\otimes 𝐁$表示矩阵A、B的克罗内克积，其是外积的推广。

则 $$\begin{array}{cc}& \mathrm{vec}(𝐁-\widehat{𝐁}{)}^{𝖳}({\mathrm{\Sigma }}_{ϵ}^{-1}\otimes {𝐗}^{𝖳}𝐗)\mathrm{vec}(𝐁-\widehat{𝐁})\\ & =(\mathit{\beta }-\hat{\mathit{\beta }}{)}^{𝖳}({\mathrm{\Sigma }}_{ϵ}^{-1}\otimes {𝐗}^{𝖳}𝐗)(\mathit{\beta }-\hat{\mathit{\beta }})\end{array}$$ 产生的似然在$(\mathit{\beta }-\hat{\mathit{\beta }})$中正态。

有了更易理解的似然，就可以找到自然的（条件）共轭先验了。

共轭先验分布

由向量化的$\mathit{\beta }$得到的自然共轭先验形式为 $$\rho (\mathit{\beta },{\mathrm{\Sigma }}_{ϵ})=\rho ({\mathrm{\Sigma }}_{ϵ})\rho (\mathit{\beta }|{\mathrm{\Sigma }}_{ϵ}),$$ 其中 $$\rho ({\mathrm{\Sigma }}_{ϵ})\sim {𝒲}^{-1}({𝐕}_0,{\mathit{\nu }}_0)$$

$$\rho (\mathit{\beta }|{\mathrm{\Sigma }}_{ϵ})\sim N({\mathit{\beta }}_0,{\mathrm{\Sigma }}_{ϵ}\otimes {\mathrm{\Lambda }}_0^{-1}).$$

后验分布

利用上述先验与似然，可得到后验 $$\begin{array}{cc}\rho (\mathit{\beta },{\mathrm{\Sigma }}_{ϵ}|𝐘,𝐗)\propto & |{\mathrm{\Sigma }}_{ϵ}{|}^{-({\mathit{\nu }}_0+m+1)/2}\exp (-\frac{1}{2}\mathrm{tr}({𝐕}_0{\mathrm{\Sigma }}_{ϵ}^{-1}))\\ & \times |{\mathrm{\Sigma }}_{ϵ}{|}^{-k/2}\exp (-\frac{1}{2}\mathrm{tr}((𝐁-{𝐁}_0{)}^{𝖳}{\mathrm{\Lambda }}_0(𝐁-{𝐁}_0){\mathrm{\Sigma }}_{ϵ}^{-1}))\\ & \times |{\mathrm{\Sigma }}_{ϵ}{|}^{-n/2}\exp (-\frac{1}{2}\mathrm{tr}((𝐘-𝐗𝐁{)}^{𝖳}(𝐘-𝐗𝐁){\mathrm{\Sigma }}_{ϵ}^{-1})),\end{array}$$ 其中$\mathrm{vec}({𝐁}_0)={\mathit{\beta }}_0$。 记${\mathrm{\Lambda }}_0={𝐔}^{𝖳}𝐔$，涉及$𝐁$的项可以分类为 $$\begin{array}{cc}& {(𝐁-{𝐁}_0)}^{𝖳}{\mathrm{\Lambda }}_0(𝐁-{𝐁}_0)+{(𝐘-𝐗𝐁)}^{𝖳}(𝐘-𝐗𝐁)\\ =& {(\left[\begin{array}{c}𝐘\\ 𝐔{𝐁}_0\end{array}\right]-\left[\begin{array}{c}𝐗\\ 𝐔\end{array}\right]𝐁)}^{𝖳}(\left[\begin{array}{c}𝐘\\ 𝐔{𝐁}_0\end{array}\right]-\left[\begin{array}{c}𝐗\\ 𝐔\end{array}\right]𝐁)\\ =& {(\left[\begin{array}{c}𝐘\\ 𝐔{𝐁}_0\end{array}\right]-\left[\begin{array}{c}𝐗\\ 𝐔\end{array}\right]{𝐁}_n)}^{𝖳}(\left[\begin{array}{c}𝐘\\ 𝐔{𝐁}_0\end{array}\right]-\left[\begin{array}{c}𝐗\\ 𝐔\end{array}\right]{𝐁}_n)+{(𝐁-{𝐁}_n)}^{𝖳}({𝐗}^{𝖳}𝐗+{\mathrm{\Lambda }}_0)(𝐁-{𝐁}_n)\\ =& {(𝐘-𝐗{𝐁}_n)}^{𝖳}(𝐘-𝐗{𝐁}_n)+{({𝐁}_0-{𝐁}_n)}^{𝖳}{\mathrm{\Lambda }}_0({𝐁}_0-{𝐁}_n)+{(𝐁-{𝐁}_n)}^{𝖳}({𝐗}^{𝖳}𝐗+{\mathrm{\Lambda }}_0)(𝐁-{𝐁}_n),\end{array}$$ 其中 $${𝐁}_n={({𝐗}^{𝖳}𝐗+{\mathrm{\Lambda }}_0)}^{-1}({𝐗}^{𝖳}𝐗\widehat{𝐁}+{\mathrm{\Lambda }}_0{𝐁}_0)={({𝐗}^{𝖳}𝐗+{\mathrm{\Lambda }}_0)}^{-1}({𝐗}^{𝖳}𝐘+{\mathrm{\Lambda }}_0{𝐁}_0).$$

现在可以用更有用的形式来写后验： $$\begin{array}{cc}\rho (\mathit{\beta },{\mathrm{\Sigma }}_{ϵ}|𝐘,𝐗)\propto & |{\mathrm{\Sigma }}_{ϵ}{|}^{-({\mathit{\nu }}_0+m+n+1)/2}\exp (-\frac{1}{2}\mathrm{tr}(({𝐕}_0+(𝐘-𝐗{𝐁}_{𝐧}{)}^{𝖳}(𝐘-𝐗{𝐁}_{𝐧})+({𝐁}_n-{𝐁}_0{)}^{𝖳}{\mathrm{\Lambda }}_0({𝐁}_n-{𝐁}_0)){\mathrm{\Sigma }}_{ϵ}^{-1}))\\ & \times |{\mathrm{\Sigma }}_{ϵ}{|}^{-k/2}\exp (-\frac{1}{2}\mathrm{tr}((𝐁-{𝐁}_n{)}^{𝖳}({𝐗}^T𝐗+{\mathrm{\Lambda }}_0)(𝐁-{𝐁}_n){\mathrm{\Sigma }}_{ϵ}^{-1})).\end{array}$$

其形式为逆威沙特分布乘以矩阵正态分布： $$\rho ({\mathrm{\Sigma }}_{ϵ}|𝐘,𝐗)\sim {𝒲}^{-1}({𝐕}_n,{\mathit{\nu }}_n)$$ $$\rho (𝐁|𝐘,𝐗,{\mathrm{\Sigma }}_{ϵ})\sim {ℳ𝒩}_{k,m}({𝐁}_n,{\mathrm{\Lambda }}_n^{-1},{\mathrm{\Sigma }}_{ϵ}).$$

此后验的参数由下式给出 $${𝐕}_n={𝐕}_0+(𝐘-𝐗{𝐁}_{𝐧}{)}^{𝖳}(𝐘-𝐗{𝐁}_{𝐧})+({𝐁}_n-{𝐁}_0{)}^{𝖳}{\mathrm{\Lambda }}_0({𝐁}_n-{𝐁}_0)$$ $${\mathit{\nu }}_n={\mathit{\nu }}_0+n$$ $${𝐁}_n=({𝐗}^{𝖳}𝐗+{\mathrm{\Lambda }}_0{)}^{-1}({𝐗}^{𝖳}𝐘+{\mathrm{\Lambda }}_0{𝐁}_0)$$ $${\mathrm{\Lambda }}_n={𝐗}^{𝖳}𝐗+{\mathrm{\Lambda }}_0$$

另见

• Template:Link-en
• 矩阵正态分布

参考文献

• Template:Cite book
• Template:Cite journal
• Template:Cite journal