高斯-马尔可夫定理

Template:NoteTA Template:回归侧栏 高斯-馬可夫定理（Template:Lang-en），在統計學中陳述的是在线性回归模型中，如果线性模型满足高斯马尔可夫假定，则回归系数的“最佳线性无偏估计”（BLUE，Template:Lang-en）就是普通最小二乘法估计。最佳估计是指相较于其他估计量有更小方差的估计量，同时把对估计量的寻找限制在所有可能的线性无偏估计量中。此外，误差也不一定需要满足独立同分布或正态分布。

本定理主要以卡爾·弗里德里希·高斯和安德烈·马尔可夫命名，虽然高斯的贡献要远比马尔可夫的重要。高斯以独立正态分布的假设推导出了结果，而马尔可夫将假设放宽到了上述的形式。

表述

简单（一元）线性回归模型

对于简单（一元）线性回归模型，

$y={\beta }_0+{\beta }_{1}x+\epsilon$

其中${\beta }_0$和${\beta }_1$是非随机但不能观测到的参数，$x_i$是非随机且可观测到的一般变量，${\epsilon }_i$是不可观测的随机变量，或称为随机误差或噪音，$y_i$是可观测的随机变量。

高斯-马尔可夫定理的假设条件是：

• 在总体模型中，各变量关系为$y={\beta }_0+{\beta }_{1}x+\epsilon$(线性于参数)
• 我们具有服从于上述模型的随机样本，样本容量为n（随机抽样），
• x的样本结果为非完全相同的数值（解释变量的样本有波动），
• 对于给定的解释变量，误差的期望为零，换言之$\mathrm{E}(\epsilon |x)=0$ （零条件均值），
• 对于给定的解释变量，误差具有相同的方差，换言之 $\mathrm{V}\mathrm{a}\mathrm{r}(\epsilon |x)={\sigma }^2$（同方差性）。

则对${\beta }_0$和${\beta }_1$的最佳线性无偏估计为，

${\hat{\beta }}_1=\frac{\sum x_i{y}_i-\frac{1}{n}\sum x_i\sum y_i}{\sum x_i^2-\frac{1}{n}(\sum x_i{)}^2}=\frac{\widehat{\text{Cov}(x,y)}}{{\widehat{{\sigma }_x}}^2}={\hat{\rho }}_{xy}\frac{\widehat{{\sigma }_x}}{\widehat{{\sigma }_y}},{\hat{\beta }}_0=\bar{y}-{\hat{\beta }}_1\bar{x}.$

多元线性回归模型

对于多元线性回归模型，

$y_i=\sum _{j=0}^p{\beta }_j{x}_{ij}+{\epsilon }_i$, $x_{i0}=1;i=1,\dots n.$

使用矩阵形式，线性回归模型可简化记为$𝐘=𝐗\mathit{\beta }+\mathit{\epsilon }$，其中采用了以下记号：

$𝐘=(y_1,y_2,\dots ,y_n{)}^T$ (观测值向量，Vector of Responses),

$𝐗=(x_{ij})=\left[\begin{array}{ccccc}1& x_{11}& x_{12}& \cdots & x_{1p}\\ 1& x_{21}& x_{22}& \cdots & x_{2p}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& x_{n1}& x_{n2}& \cdots & x_{np}\end{array}\right]$ (设计矩阵，Design Matrix),

$\mathit{\beta }=({\beta }_0,{\beta }_1,\dots ,{\beta }_p{)}^T$ (参数向量，Vector of Parameters),

$\mathit{\epsilon }=({\epsilon }_1,{\epsilon }_2,\dots ,{\epsilon }_n{)}^T$ (随机误差向量，Vectors of Error)。

高斯-马尔可夫定理的假设条件是：

• $\mathrm{E}(\mathit{\epsilon }\mid 𝐗)=0$ ，$\mathrm{\forall }𝐗$（零均值），
• $\mathrm{V}\mathrm{a}\mathrm{r}(\mathit{\epsilon }\mid 𝐗)=\mathrm{E}(\mathit{\epsilon }{\mathit{\epsilon }}^T\mid 𝐗)={\sigma }_{\epsilon }^2{𝐈}_{𝐧}$，（同方差且不相关），其中${𝐈}_{𝐧}$为n阶单位矩阵(Identity Matrix)。

则对$\mathit{\beta }$的最佳线性无偏估计为

$\hat{\mathit{\beta }}=({𝐗}^T𝐗{)}^{-1}{𝐗}^T𝐘$

证明

首先，注意的是这里数据是$𝐘$而非$𝐗$，我们希望找到$\mathit{\beta }$对于$𝐘$的线性估计量，记作

$\hat{\mathit{\beta }}=𝐌+𝐍𝐘$

其中$\hat{\mathit{\beta }}$，$𝐌$，$𝐍$和$𝐘$分别是$(p+1)\times 1$，$(p+1)\times 1$，$(p+1)\times n$和$n\times 1$矩阵。

根据零均值假设所得，

$\mathrm{E}(\hat{\mathit{\beta }}\mid 𝐗)=𝐌+𝐍\mathrm{E}(𝐘\mid 𝐗)=𝐌+𝐍𝐗\mathit{\beta }$

其次，我们同时限制寻找的估计量为无偏的估计量，即要求$\mathrm{E}\left(\hat{\mathit{\beta }}\right)=\mathit{\beta }$，因此有

$𝐌=\mathrm{𝟎}$（零矩阵），$𝐍𝐗={𝐈}_{𝐩\mathbf{+}\mathrm{𝟏}}$

参见

• 方差分析
• 安斯库姆四重奏
• 横截面回归
• 曲线拟合
• 经验贝叶斯方法
• 邏輯斯諦迴歸
• M估计
• 非线性回归
• 非参数回归
• 多元自适应回归样条
• Lack-of-fit sum of squares
• 截断回归模型
• 删失回归模型
• 简单线性回归
• 分段线性回归

外部連結

• Earliest Known Uses of Some of the Words of Mathematics: G (brief history and explanation of its name)
• Proof of the Gauss Markov theorem for multiple linear regression Template:Wayback (makes use of matrix algebra)
• A Proof of the Gauss Markov theorem using geometry