查看“︁广义最小二乘法”︁的源代码

{{回归侧栏}}

'''广义最小二乘法'''（{{Lang-en|generalized least squares，GLS}}）是[[統計學]]中的一个方法，当回归模型中的残差之间存在一定程度的相关性时，它可以被用于估计线性回归模型中的未知参数。最小二乘法和加权最小二乘法可能需要提高统计效率并防止误导性推论。GLS由新西兰数学家亚历山大·艾特肯（Alexander Aitken）于1935年首次描述。

== 概述 ==
在一个标准[[线性回归]]中，有数据组<math>\{y_i,x_{ij}\}_{i=1, \dots, n,j=2, \dots, k}</math>

因变量有：<math display="block">\mathbf{y} \equiv
\begin{pmatrix}
y_1
\\
\vdots
\\
y_n
\end{pmatrix},
</math>预测变量被放入了如下的[[设计矩阵]]<math display="block">\mathbf{X} \equiv 
\begin{pmatrix}
1 & x_{12} & x_{13} & \cdots & x_{1k}
\\
1 & x_{22} & x_{23} & \cdots & x_{2k}
\\
\vdots & \vdots & \vdots & \ddots & \vdots
\\
1 & x_{n2} & x_{n3} & \cdots & x_{nk}
\end{pmatrix}
,</math>这里每行是一个有<math>k</math>预测变量的向量，每行对应第<math>i</math>个数据点。这个模型假设<math>\mathbf{y}</math>在<math>\mathbf{X}</math>下的的条件均值将会是<math>\mathbf{X}</math>的线性函数，且在<math>\mathbf{X}</math>下的方差是一个非奇异[[方差矩阵]]<math>\mathbf{\Omega}</math>，有<math display="block">
 \mathbf{y} = \mathbf{X} \boldsymbol{\beta} + \boldsymbol{\varepsilon}, \quad \operatorname{E}[\boldsymbol\varepsilon\mid\mathbf{X}]=0, \quad  \operatorname{Cov}[\boldsymbol\varepsilon\mid\mathbf{X}]= \boldsymbol{\Omega}, </math>这里<math>\boldsymbol\beta \in \mathbb{R}^k</math>是一个含有未知常数的矩阵，称为[[回归系数]]（regression coefficients），它们从回归中预测得到。如果<math>\mathbf{b}</math>是<math>\boldsymbol{\beta}</math>可能的值，则对<math>\mathbf{b}</math>的残余值是<math>\mathbf{y}- \mathbf{X} \mathbf{b}</math>。广义最小二乘法通过最小化[[马哈拉诺比斯距离|馬哈拉諾比斯距離]]来预测<math>\boldsymbol{\beta}</math>：<math display="block">
\begin{align}
{\hat{\boldsymbol{\beta}}} & = \underset{\mathbf{b}}\operatorname{arg min}\,(\mathbf{y}- \mathbf{X} \mathbf{b})^{ \mathrm{T}}\mathbf{\Omega}^{-1}(\mathbf{y}- \mathbf{X} \mathbf{b}) \\
                     & = \underset{ \mathbf{b}}\operatorname{arg min}\,\mathbf{y}^{\mathrm{T}}\,\mathbf{\Omega}^{-1}\mathbf{y} + (\mathbf{X} \mathbf{b})^{\mathrm{T}} \mathbf{\Omega}^{-1} \mathbf{X} \mathbf{b} - \mathbf{y}^{\mathrm{T}}\mathbf{\Omega}^{-1}\mathbf{X} \mathbf{b}-(\mathbf{X} \mathbf{b})^{\mathrm{T}}\mathbf{\Omega}^{-1}\mathbf{y}\, ,
\end{align}

  </math>相当于<math display="block">
    {\hat{\boldsymbol\beta}} =  \underset{ \mathbf{b}}\operatorname{arg min}\,\mathbf{y}^{\mathrm{T}}\,\mathbf{\Omega}^{-1}\mathbf{y} + \mathbf{b}^{\mathrm{T}} \mathbf{X}^{\mathrm{T}} \mathbf{\Omega}^{-1} \mathbf{X} \mathbf{b} -2 \mathbf{b}^{\mathrm{T}} \mathbf{X} ^{\mathrm{T}}\mathbf{\Omega}^{-1}\mathbf{y}, </math>这是一个[[二次规划]]问题。目标函数的驻点出现在以下情况：<math display="block">
2 \mathbf{X}^{\mathrm{T}} \mathbf{\Omega}^{-1} \mathbf{X} { \mathbf{b}} -2 \mathbf{X} ^{\mathrm{T}}\mathbf{\Omega}^{-1}\mathbf{y} = 0
,
</math>所以：<math display="block">
    {\hat{\boldsymbol \beta}} = \left( \mathbf{X}^{\mathrm{T}} \mathbf{\Omega}^{-1} \mathbf{X} \right)^{-1} \mathbf{X}^{ \mathrm{T}}\mathbf{\Omega}^{-1}\mathbf{y}. 
  </math>数量<math>\mathbf{\Omega}^{-1}</math>称为精度矩阵（或分散矩阵），是对角权重矩阵的推广。
[[分類:估計方法]]