普通最小二乘法

Template:NoteTA Template:回归侧栏 在回归分析当中，最常用的估计$\beta$（回归系数）的方法是普通最小二乘法（Template:Lang-en，簡稱OLS），它基於誤差值之上。用這種方法估计$\beta$，首先要計算残差平方和（Template:Lang；RSS），RSS是指将所有误差值的平方加起來得出的数：

$RSS=\sum _{i=1}^n{e}_i^2$

${\beta }_0$與${\beta }_1$的数值可以用以下算式计算出來：

${\hat{\beta }}_1=\frac{\sum (x_i-\overline{x})(y_i-\overline{y})}{\sum (x_i-\overline{x}{)}^2}$

${\hat{\beta }}_0=\overline{y}-{\hat{\beta }}_1\overline{x}$

当中$\overline{x}$為$x$的平均值，而$\overline{y}$為$y$的平均值。

假设总体的误差值有一个固定的變異數，這个變異數可以用以下算式估计：

${\hat{\sigma }}_{\epsilon }^2=\frac{RSS}{n-2}.$

這個数就是均方误差（mean square error），這個分母是样本大小减去模型要估计的参数的量。這個回归模型当中有两个未知的参数（${\beta }_0$與${\beta }_1$）。

而這些参数估计的标准误差（standard error）為：

${\hat{\sigma }}_{{\beta }_1}={\hat{\sigma }}_{\epsilon }\sqrt{\frac{1}{\sum (x_i-\overline{x}{)}^2}}$

${\hat{\sigma }}_{{\beta }_0}={\hat{\sigma }}_{\epsilon }\sqrt{\frac{1}{n}+\frac{{\overline{x}}^2}{\sum (x_i-\overline{x}{)}^2}}={\hat{\sigma }}_{{\beta }_1}\sqrt{\frac{\sum x_i^2}{n}}$

有了上面這个模型，研究者手上就有会有${\beta }_0$與${\beta }_1$的估计值，就可以用這個算式來预测$Y$的数值。

參見

• 最小均方误差
• 非线性最小二乘法