二次型 (统计)

在多元变量统计中，如果 $\epsilon$ 为 $n$ 维随机向量， $\mathrm{\Lambda }$ 是一个 $n$ 维对称矩阵，则随机变量 ${\epsilon }^T\mathrm{\Lambda }\epsilon$ 称为 $\epsilon$ 的二次型。

期望

二次型的期望可表示为，

$\mathrm{E}\left[{\epsilon }^T\mathrm{\Lambda }\epsilon \right]=\mathrm{tr}\left[\mathrm{\Lambda }\mathrm{\Sigma }\right]+{\mu }^T\mathrm{\Lambda }\mu$

其中，$\mu$ 和 $\mathrm{\Sigma }$ 分别表示 $\epsilon$ 的期望值 和方差-协方差矩阵， tr 为矩阵的迹。其结果仅仅取决于是否存在 $\mu$ 和 $\mathrm{\Sigma }$；并且，$\epsilon$ 的正态性不是必要条件。

关于随机变量的二次型参考书籍 

证明

由于二次型是标量，所以二次型的迹就是它本身$\mathrm{E}\left[{\epsilon }^T\mathrm{\Lambda }\epsilon \right]=\mathrm{tr}(\mathrm{E}[{\epsilon }^T\mathrm{\Lambda }\epsilon ])$。

由于矩阵的迹是其对角线元素之和（即矩阵元素线性组合的结果），因此服从期望的线性，有

$\mathrm{tr}(\mathrm{E}\left[{\epsilon }^T\mathrm{\Lambda }\epsilon \right])=\mathrm{E}[\mathrm{tr}({\epsilon }^T\mathrm{\Lambda }\epsilon )].$

利用迹的可交换性，

$\mathrm{E}[\mathrm{tr}({\epsilon }^T\mathrm{\Lambda }\epsilon )]=\mathrm{E}[\mathrm{tr}(\mathrm{\Lambda }\epsilon {\epsilon }^T)].$

由期望的线性可得

$\mathrm{E}[\mathrm{tr}(\mathrm{\Lambda }\epsilon {\epsilon }^T)]=\mathrm{tr}(\mathrm{\Lambda }\mathrm{E}(\epsilon {\epsilon }^T)).$

由方差的标准属性可知：

$\mathrm{tr}(\mathrm{\Lambda }(\mathrm{\Sigma }+\mu {\mu }^T)).$

再次应用迹的可交换性可得：

$\mathrm{tr}(\mathrm{\Lambda }\mathrm{\Sigma })+\mathrm{tr}(\mathrm{\Lambda }\mu {\mu }^T)=\mathrm{tr}(\mathrm{\Lambda }\mathrm{\Sigma })+\mathrm{tr}({\mu }^T\mathrm{\Lambda }\mu )=\mathrm{tr}(\mathrm{\Lambda }\mathrm{\Sigma })+{\mu }^T\mathrm{\Lambda }\mu .$

方差

通常情况下，二次型的方差在很大程度上取决于 $\epsilon$ 的分布。 然而，如果 $\epsilon$ 服从多元正态分布，则二次型的方差的求解非常容易。假设 $\mathrm{\Lambda }$ 是一个对称矩阵，则有，

$\mathrm{var}\left[{\epsilon }^T\mathrm{\Lambda }\epsilon \right]=2\mathrm{tr}\left[\mathrm{\Lambda }\mathrm{\Sigma }\mathrm{\Lambda }\mathrm{\Sigma }\right]+4{\mu }^T\mathrm{\Lambda }\mathrm{\Sigma }\mathrm{\Lambda }\mu$ .

事实上，这可以推广到同一向量 $\epsilon$ 的两个二次型的协方差计算中 (注意, ${\mathrm{\Lambda }}_1$ 和 ${\mathrm{\Lambda }}_2$ 必须都是对称矩阵):

$\mathrm{cov}[{\epsilon }^T{\mathrm{\Lambda }}_1\epsilon ,{\epsilon }^T{\mathrm{\Lambda }}_2\epsilon ]=2\mathrm{tr}\left[{\mathrm{\Lambda }}_1\mathrm{\Sigma }{\mathrm{\Lambda }}_2\mathrm{\Sigma }\right]+4{\mu }^T{\mathrm{\Lambda }}_1\mathrm{\Sigma }{\mathrm{\Lambda }}_2\mu$。

不对称矩阵的方差计算

在某些参考资料中，在 $\mathrm{\Lambda }$ 为非对称矩阵情况下，也错误地得到了上述方差/协方差的结果。 在一般情况下，$\mathrm{\Lambda }$ 可以通过下面方式得到：

${\epsilon }^T{\mathrm{\Lambda }}^T\epsilon ={\epsilon }^T\mathrm{\Lambda }\epsilon$

因此

${\epsilon }^T\tilde{\mathrm{\Lambda }}\epsilon ={\epsilon }^T(\mathrm{\Lambda }+{\mathrm{\Lambda }}^T)\epsilon /2$

但是，这是一个二次型的对称矩阵 $\tilde{\mathrm{\Lambda }}=(\mathrm{\Lambda }+{\mathrm{\Lambda }}^T)/2$，所以其均值和方差表达式相同，只是将 $\mathrm{\Lambda }$ 替换为 $\tilde{\mathrm{\Lambda }}$。

二次型举例

设有观测值的集合 $y$ 和运算矩阵 $H$，则 $y$ 的残差平方和可表示为其二次型：

$\text{RSS}=y^T(I-H{)}^T(I-H)y.$

其中，矩阵 $H$ 为对称和等幂的，其误差为协方差矩阵为 ${\sigma }^{2}I$ 的高斯分布, $\text{RSS}/{\sigma }^2$ 为自由度是 $k$ 的卡方分布，参数为 $\lambda$，有

$k=\mathrm{tr}[(I-H{)}^T(I-H)]$

$\lambda ={\mu }^T(I-H{)}^T(I-H)\mu /2$

如果 $Hy$ 在估计 $\mu$ 时没有偏差，则参数 $\lambda$ 为零且 $\text{RSS}/{\sigma }^2$ 服从中心卡方分布。

参看

• 二次型
• 协方差矩阵