协方差矩阵

中心为 (0, 0) 的一个二元高斯概率密度函数，协方差矩阵为 [ 1.00, 0.50 ; 0.50, 1.00 ]。

一个左下右上方向标准差为 3，正交方向标准差为 1 的多元高斯分布的样本点。由于 x 和 y 分量共变（即相关），x 与 y 的方差不能完全描述该分布；箭头的方向对应的协方差矩阵的特征向量，其长度为特征值的平方根。

在统计学与概率论中，协方差矩阵（covariance matrix）是一个方阵，代表著任兩列Template:Le间的协方差，是协方差的直接推广。

定义

將之以矩形表示的話就是：

$𝐜𝐨𝐯(X,Y)=\left[\begin{array}{cccc}\mathrm{cov}(x_1,y_1)& \mathrm{cov}(x_1,y_2)& \cdots & \mathrm{cov}(x_1,y_n)\\ \mathrm{cov}(x_2,y_1)& \mathrm{cov}(x_2,y_2)& \cdots & \mathrm{cov}(x_2,y_n)\\ ⋮& ⋮& \ddots & ⋮\\ \mathrm{cov}(x_m,y_1)& \mathrm{cov}(x_m,y_2)& \cdots & \mathrm{cov}(x_m,y_n)\end{array}\right]$

$=\left[\begin{array}{cccc}\mathrm{E}[(x_1-{\mu }_1)(y_1-{\nu }_1)]& \mathrm{E}[(x_1-{\mu }_1)(y_2-{\nu }_2)]& \cdots & \mathrm{E}[(x_1-{\mu }_1)(y_n-{\nu }_n)]\\ \mathrm{E}[(x_2-{\mu }_2)(y_1-{\nu }_1)]& \mathrm{E}[(x_2-{\mu }_2)(y_2-{\nu }_2)]& \cdots & \mathrm{E}[(x_2-{\mu }_2)(y_n-{\nu }_n)]\\ ⋮& ⋮& \ddots & ⋮\\ \mathrm{E}[(x_m-{\mu }_m)(y_1-{\nu }_1)]& \mathrm{E}[(x_m-{\mu }_m)(y_2-{\nu }_2)]& \cdots & \mathrm{E}[(x_m-{\mu }_m)(y_n-{\nu }_n)]\end{array}\right]$

根據測度積分的線性性質，协方差矩阵還可以進一步化簡為：

$𝐜𝐨𝐯(X,Y)={[\mathrm{E}(x_i{y}_j)-{\mu }_i{\nu }_j]}_{n\times n}$

矩陣表示法

以上定義所述的隨機變數序列 $X$ 和 $Y$ ，也可分別以用行向量 $𝐗:={\left[x_i\right]}_m$ 與 $𝐘:={\left[y_j\right]}_n$ 表示，換句話說：

$𝐗:=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_m\end{array}\right]$ $𝐘:=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]$

這樣的話，對於 $m\times n$ 個定義在 $\mathrm{\Omega }$ 上的隨機變數 $a_{ij}$ 所組成的矩陣 $𝐀={\left[a_{ij}\right]}_{m\times n}$ ， 定義：

$\mathrm{E}[𝐀]:={[\mathrm{E}(a_{ij})]}_{m\times n}$

也就是說

$\mathrm{E}[𝐀]:=\left[\begin{array}{cccc}\mathrm{E}(a_{11})& \mathrm{E}(a_{12})& \cdots & \mathrm{E}(a_{1n})\\ \mathrm{E}(a_{21})& \mathrm{E}(a_{22})& \cdots & \mathrm{E}(a_{2n})\\ ⋮& ⋮& \ddots & ⋮\\ \mathrm{E}(a_{m1})& \mathrm{E}(a_{m2})& \cdots & \mathrm{E}(a_{mn})\end{array}\right]$

那上小節定義的协方差矩阵就可以記为：

$𝐜𝐨𝐯(X,Y)=\mathrm{E}\left[(𝐗-\mathrm{E}[𝐗]){(𝐘-\mathrm{E}[𝐘])}^{\mathrm{T}}\right]$

所以协方差矩阵也可對 $𝐗$ 與 $𝐘$ 來定義：

$𝐜𝐨𝐯(𝐗,𝐘):=\mathrm{E}\left[(𝐗-\mathrm{E}[𝐗]){(𝐘-\mathrm{E}[𝐘])}^{\mathrm{T}}\right]$

术语与符号分歧

也有人把以下的 ${\mathrm{\Sigma }}_X$ 稱為协方差矩阵：

$\begin{array}{cc}{\mathrm{\Sigma }}_X& :={[\mathrm{cov}(x_i,x_j)]}_{m\times m}\\ & =𝐜𝐨𝐯(X,X)\end{array}$

但本頁面沿用威廉·费勒的说法，把 ${\mathrm{\Sigma }}_X$ 稱為 $X$ 的方差（variance of random vector），來跟 $𝐜𝐨𝐯(X,Y)$ 作區別。這是因為：

$\mathrm{cov}(x_i,x_i)=\mathrm{E}[{(x_i-{\mu }_i)}^2]=\mathrm{var}(x_i)$

換句話說， ${\mathrm{\Sigma }}_X$ 的對角線由隨機變數 $x_i$ 的方差所組成。據此，也有人也把 $𝐜𝐨𝐯(X,Y)$ 稱為方差-协方差矩阵（variance–covariance matrix）。

更有人因為方差和离差的相關性，含混的將 $𝐜𝐨𝐯(X,Y)$ 稱為离差矩阵。

性质

$\mathrm{\Sigma }=𝐜𝐨𝐯(X,X)$ 有以下的基本性质：

1. $\mathrm{\Sigma }=\mathrm{E}(𝐗{𝐗}^T)-\mathrm{E}(𝐗){[\mathrm{E}(𝐗)]}^T$
2. $\mathrm{\Sigma }$是半正定的和对称的矩阵。
3. $\mathrm{var}({𝐚}^{𝐓}𝐗)={𝐚}^{𝐓}\mathrm{var}(𝐗)𝐚$
4. $\mathrm{\Sigma }\ge 0$
5. $\mathrm{var}(𝐀𝐗+𝐚)=𝐀\mathrm{var}(𝐗){𝐀}^{𝐓}$
6. $\mathrm{cov}(𝐗,𝐘)=\mathrm{cov}(𝐘,𝐗{)}^T$
7. $\mathrm{cov}({𝐗}_{\mathrm{𝟏}}+{𝐗}_{\mathrm{𝟐}},𝐘)=\mathrm{cov}({𝐗}_{\mathrm{𝟏}},𝐘)+\mathrm{cov}({𝐗}_{\mathrm{𝟐}},𝐘)$
8. 若 $p=q$，則有$\mathrm{var}(𝐗+𝐘)=\mathrm{var}(𝐗)+\mathrm{cov}(𝐗,𝐘)+\mathrm{cov}(𝐘,𝐗)+\mathrm{var}(𝐘)$
9. $\mathrm{cov}(𝐀𝐗,𝐁𝐗)=𝐀\mathrm{cov}(𝐗,𝐗){𝐁}^T$
10. 若$𝐗$ 与$𝐘$ 是独立的，則有$\mathrm{cov}(𝐗,𝐘)=0$
11. $\mathrm{\Sigma }={\mathrm{\Sigma }}^T$

尽管共變異數矩阵很简单，可它却是很多领域里的非常有力的工具。它能导出一个变换矩阵，这个矩阵能使数据完全去相关(decorrelation)。从不同的角度看，也就是说能够找出一组最佳的基以紧凑的方式来表达数据。(完整的证明请参考瑞利商)。 这个方法在统计学中被称为主成分分析(principal components analysis)，在图像处理中称为Karhunen-Loève 变换(KL-变换)。

複随机向量

均值为$\mu$的複随机标量变量的方差定义如下（使用共轭複数）：

$\mathrm{var}(z)=\mathrm{E}[(z-\mu )(z-\mu {)}^{*}]$

其中复数$z$的共轭记为$z^{*}$。

如果$Z$ 是一个复列向量,则取其共轭转置，得到一个方阵:

$\mathrm{E}[(Z-\mu )(Z-\mu {)}^{*}]$

其中$Z^{*}$为共轭转置, 它对于标量也成立，因为标量的转置还是标量。

估计

多元正态分布的共變異數矩阵的估计的推导非常精致. 它需要用到谱定义以及为什么把标量看做$1\times 1$矩阵的迹更好的原因。参见共變異數矩阵的估计。

外部链接

• Covariance MatrixTemplate:Wayback at Mathworld