查看“︁协方差矩阵”︁的源代码

{{noteTA|G1=math}}
[[Image:Gaussian-2d.png|thumb|right|中心为 (0, 0) 的一个[[多元正态分布|二元高斯概率密度函数]]，协方差矩阵为 [ 1.00, 0.50 ; 0.50, 1.00 ]。]]

[[Image:GaussianScatterPCA.png|thumb|right|一个左下右上方向标准差为 3，正交方向标准差为 1 的[[多元高斯分布]]的样本点。由于 ''x'' 和 ''y'' 分量共变（即相关），''x'' 与 ''y'' 的方差不能完全描述该分布；箭头的方向对应的协方差矩阵的特征向量，其长度为[[特征值]]的平方根。]]
在[[统计学]]与[[概率论]]中，'''[[协方差]]矩阵'''（covariance matrix）是一个方阵，代表著任兩列{{le|多维随机变量|Multivariate random variable|随机变量}}间的[[协方差]]，是[[协方差]]的直接推广。

== 定义 ==
{{Math theorem
| name = 定義
| math_statement = <br/>
設 <math>(\Omega,\,\Sigma,\, P)</math> 是[[機率空間]]， <math>X = \{x_i\}^{m}_{i=1}</math> 与 <math>Y = \{y_i\}^{n}_{j=1}</math> 是定義在 <math>\Omega</math> 上的兩列[[实数]][[随机变量]][[序列]]

若二者对应的期望值分别为：

: <math>E(x_i)
= \int_{\Omega} x_i \,dP
= \mu_i</math>

: <math>E(y_j)
= \int_{\Omega} y_j \,dP
= \nu_j</math>

則这两列隨機变量间的'''协方差矩阵'''为：

: <math>\operatorname{\mathbf{cov}}(X, Y)
:= {\left[\,\operatorname{cov}(x_i, y_j)\,\right]}_{m \times n}
= {\bigg[\,\operatorname{E}[(x_i-\mu_i)(y_j-\nu_j)]\,\bigg]}_{m \times n}
</math>
}}

將之以矩形表示的話就是：

:
: <math>\operatorname{\mathbf{cov}}(X, Y)
=\begin{bmatrix}
 \operatorname{cov}(x_1, y_1) & \operatorname{cov}(x_1, y_2) & \cdots & \operatorname{cov}(x_1, y_n) \\
 \operatorname{cov}(x_2, y_1) & \operatorname{cov}(x_2, y_2) & \cdots & \operatorname{cov}(x_2, y_n) \\
 \vdots & \vdots & \ddots & \vdots \\ 
 \operatorname{cov}(x_m, y_1) & \operatorname{cov}(x_m, y_2) & \cdots & \operatorname{cov}(x_m, y_n)
\end{bmatrix}   </math>
: <math>=
\begin{bmatrix}
 \mathrm{E}[(x_1 - \mu_1)(y_1 - \nu_1)] & \mathrm{E}[(x_1 - \mu_1)(y_2 - \nu_2)] & \cdots & \mathrm{E}[(x_1 - \mu_1)(y_n - \nu_n)] \\
 \mathrm{E}[(x_2 - \mu_2)(y_1 - \nu_1)] & \mathrm{E}[(x_2 - \mu_2)(y_2 - \nu_2)] & \cdots & \mathrm{E}[(x_2 - \mu_2)(y_n - \nu_n)] \\
 \vdots & \vdots & \ddots & \vdots \\ 
 \mathrm{E}[(x_m - \mu_m)(y_1 - \nu_1)] & \mathrm{E}[(x_m - \mu_m)(y_2 - \nu_2)] & \cdots & \mathrm{E}[(x_m - \mu_m)(y_n - \nu_n)]
\end{bmatrix}   </math>

根據[[勒貝格積分|測度積分]]的線性性質，协方差矩阵還可以進一步化簡為：

: <math>\operatorname{\mathbf{cov}}(X, Y) = {\left[\,\operatorname{E}(x_i y_j) - \mu_i \nu_j\,\right]}_{n \times n} 
</math>

=== 矩陣表示法 ===
以上定義所述的隨機變數序列 <math>X</math> 和 <math>Y</math> ，也可分別以用[[行向量與列向量|行向量]] <math>\mathbf{X}
:= {\left[x_i\right]}_{m} </math> 與 <math>\mathbf{Y}
:= {\left[y_j\right]}_{n} </math> 表示，換句話說：

:<math>\mathbf{X} :=
\begin{bmatrix}
    x_1 \\
    x_2 \\
    \vdots \\
    x_m
\end{bmatrix}  </math>  <math>\mathbf{Y} :=
\begin{bmatrix}
    y_1 \\
    y_2 \\
    \vdots \\
    y_n
\end{bmatrix}  </math>

這樣的話，對於 <math>m \times n 
</math> 個定義在 <math>\Omega</math> 上的隨機變數 <math>
a_{ij} 
</math> 所組成的矩陣 <math>
\mathbf{A}
= {\left[\,a_{ij}\,\right]}_{m \times n}   
</math> ， 定義：

:<math>
\mathrm{E}[\mathbf{A}]
:= {\left[\,\operatorname{E}(a_{ij})\,\right]}_{m \times n}  
</math>

也就是說 

:<math>\mathrm{E}[\mathbf{A}] :=
\begin{bmatrix}
 \operatorname{E}(a_{11}) & \operatorname{E}(a_{12}) & \cdots & \operatorname{E}(a_{1n}) \\
 \operatorname{E}(a_{21}) & \operatorname{E}(a_{22}) & \cdots & \operatorname{E}(a_{2n}) \\
 \vdots & \vdots & \ddots & \vdots \\ 
 \operatorname{E}(a_{m1}) & \operatorname{E}(a_{m2}) & \cdots & \operatorname{E}(a_{mn})
\end{bmatrix}    </math>

那上小節定義的协方差矩阵就可以記为：

:<math>
\operatorname{\mathbf{cov}}(X, Y)
=\mathrm{E}
\left[
 \left(
 \mathbf{X} - \mathrm{E}[\mathbf{X}]
 \right)
 \left(
 \mathbf{Y} - \mathrm{E}[\mathbf{Y}]
 \right)^{\rm T}
\right]
</math>
所以协方差矩阵也可對 <math>\mathbf{X} </math> 與 <math>\mathbf{Y} </math> 來定義：
:<math>
\operatorname{\mathbf{cov}}(\mathbf{X}, \mathbf{Y})
:=\mathrm{E}
\left[
 \left(
 \mathbf{X} - \mathrm{E}[\mathbf{X}]
 \right)
 \left(
 \mathbf{Y} - \mathrm{E}[\mathbf{Y}]
 \right)^{\rm T}
\right] 
</math>
=== 术语与符号分歧 ===
也有人把以下的 <math>\mathbf{\Sigma}_{X}   
</math> 稱為协方差矩阵：

: <math>\begin{align}
\mathbf{\Sigma}_{X} 
& := {\left[\operatorname{cov}(x_i, x_j)\right]}_{m \times m} \\
& = \operatorname{\mathbf{cov}}(X, X)
\end{align}  
</math>

但本頁面沿用[[威廉·费勒]]的说法，把 <math>\mathbf{\Sigma}_{X}    
</math> 稱為 '''<math>X</math> 的方差'''（variance of random vector），來跟 <math>\operatorname{\mathbf{cov}}(X, Y)  
</math> 作區別。這是因為：

: <math>\operatorname{cov}(x_i, x_i)
= \operatorname{E}[{(x_i-\mu_i)}^2]
= \operatorname{var}(x_i)    
</math>

換句話說， <math>\mathbf{\Sigma}_{X}    
</math> 的對角線由隨機變數 <math>x_i </math> 的[[方差]]所組成。據此，也有人也把 <math>\operatorname{\mathbf{cov}}(X, Y)  
</math> 稱為'''方差-协方差矩阵'''（variance–covariance matrix）。

更有人因為[[方差]]和[[离差]]的相關性，含混的將 <math>\operatorname{\mathbf{cov}}(X, Y)  
</math> 稱為'''离差矩阵'''。

== 性质==
<math>\mathbf{\Sigma}
= \operatorname{\mathbf{cov}}(X, X)</math> 有以下的基本性质：
# <math> \mathbf{\Sigma} = \mathrm{E}(\mathbf{X}\mathbf{X}^T) - \mathrm{E}(\mathbf{X}){[\mathrm{E}(\mathbf{X})]}^T  </math>
# <math>\mathbf{\Sigma}</math>是[[半正定矩阵|半正定]]的和[[對稱矩陣|对称]]的矩阵。
# <math> \operatorname{var}(\mathbf{a^T}\mathbf{X}) = \mathbf{a^T} \operatorname{var}(\mathbf{X}) \mathbf{a} </math>
# <math> \mathbf{\Sigma} \geq 0 </math>
# <math> \operatorname{var}(\mathbf{A X} + \mathbf{a}) = \mathbf{A} \operatorname{var}(\mathbf{X}) \mathbf{A^T} </math>
# <math> \operatorname{cov}(\mathbf{X},\mathbf{Y}) = \operatorname{cov}(\mathbf{Y},\mathbf{X})^T</math>
# <math> \operatorname{cov}(\mathbf{X_1} + \mathbf{X_2},\mathbf{Y}) = \operatorname{cov}(\mathbf{X_1},\mathbf{Y}) + \operatorname{cov}(\mathbf{X_2}, \mathbf{Y})</math>
# 若 <math>p = q</math>，則有<math>\operatorname{var}(\mathbf{X} + \mathbf{Y}) = \operatorname{var}(\mathbf{X}) + \operatorname{cov}(\mathbf{X},\mathbf{Y}) + \operatorname{cov}(\mathbf{Y}, \mathbf{X}) + \operatorname{var}(\mathbf{Y})</math>
# <math>\operatorname{cov}(\mathbf{AX}, \mathbf{BX}) = \mathbf{A} \operatorname{cov}(\mathbf{X}, \mathbf{X}) \mathbf{B}^T </math>
# 若<math>\mathbf{X}</math> 与<math>\mathbf{Y}</math> 是独立的，則有<math>\operatorname{cov}(\mathbf{X}, \mathbf{Y}) = 0</math>
# <math> \mathbf{\Sigma} = \mathbf{\Sigma}^T </math>

尽管共變異數矩阵很简单，可它却是很多领域里的非常有力的工具。它能导出一个[[变换矩阵]]，这个矩阵能使数据完全去相关(decorrelation)。从不同的角度看，也就是说能够找出一组最佳的基以紧凑的方式来表达数据。(完整的证明请参考[[瑞利商]])。
这个方法在统计学中被称为[[主成分分析]](principal components analysis)，在图像处理中称为Karhunen-Loève 变换(KL-变换)。

==複随机向量==
均值为<math>\mu</math>的複随机标量变量的方差定义如下（使用[[共轭複数]]）：

:<math>
\operatorname{var}(z)
=
\operatorname{E}
\left[
 (z-\mu)(z-\mu)^{*}
\right]
</math>

其中复数<math>z</math>的共轭记为<math>z^{*}</math>。

如果<math>Z</math> 是一个复列向量,则取其[[共轭转置]]，得到一个方阵:

:<math>
\operatorname{E}
\left[
 (Z-\mu)(Z-\mu)^{*}
\right]
</math>

其中<math>Z^{*}</math>为共轭转置, 它对于标量也成立，因为标量的转置还是标量。

==估计==
[[多元正态分布]]的共變異數矩阵的估计的推导非常精致. 它需要用到[[谱定义]]以及为什么把标量看做<math>1 \times 1</math>矩阵的迹更好的原因。参见[[共變異數矩阵的估计]]。

== 外部链接==
*[http://mathworld.wolfram.com/CovarianceMatrix.html Covariance Matrix]{{Wayback|url=http://mathworld.wolfram.com/CovarianceMatrix.html |date=20190726075829 }} at Mathworld

[[Category:共變異數与相关性]]
[[Category:矩阵|X]]