查看“︁殘差平方和”︁的源代码

{{Expand language|1=en|time=2021-01-04T04:34:25+00:00}}
'''殘差平方和'''（{{lang-en|Residual sum of squares}}，縮寫：'''RSS'''）在[[統計學]]上是指將所有做預測時的[[誤差值]][[平方]]加起來得出的數：

:<math>RSS=\sum_{i=1}^n e_i^2 \, </math>

它是衡量数据与估计模型之间差异的尺度。较小的残差平方和表示模型能良好地拟合数据。在确定参数和[[模型选择|选择模型]]时，残差平方和是一种[[最优性准则]]。通常，总的方差=已经被模型解释了的平方和+残差平方和。

殘差平方和這個數值在[[机器学习|機器學習]]上是[[普通最小二乘法]]等[[演算法]]的重心。

== 与皮尔逊相关系数的关系 ==
对于两变量x和y, 它们的数据组的[[平均数|均值]]分别记为<math>\bar{x},\bar{y}</math>，则两数据组的[[皮尔逊相关系数]]为 <math>r=\frac{S_{xy}}{\sqrt{S_{xx}S_{yy}}}</math>，其中， <math>S_{xy}=\sum_{i=1}^n(\bar{x}-x_i)(\bar{y}-y_i)</math>；<math>S_{xx}=\sum_{i=1}^n(\bar{x}-x_i)^2</math>； <math>S_{yy}=\sum_{i=1}^n (\bar{y}-y_i)^2 </math>. 

给定最小二乘[[線性回歸|回归线]]方程为 <math>\hat{y}=ax+b=f(x)</math>, 其中 <math>b=\bar{y}-a\bar{x}</math> ; <math>a=\frac{S_{xy}}{S_{xx}}</math>. 则这时残差平方和可以表示为：

<math>\begin{align}
\operatorname{RSS} & = \sum_{i=1}^n (y_i - f(x_i))^2= \sum_{i=1}^n (y_i - (ax_i+b))^2= \sum_{i=1}^n (y_i - ax_i-\bar{y} + a\bar{x})^2 \\[5pt]
& = \sum_{i=1}^n (a(\bar{x}-x_i)-(\bar{y}-y_i))^2=a^2S_{xx}-2aS_{xy}+S_{yy}=S_{yy}-aS_{xy}=S_{yy} \left(1-\frac{S_{xy}^2}{S_{xx} S_{yy}} \right)
\end{align}</math>

通过皮尔逊相关系数的公式，可以得到 <math>\operatorname{RSS}=S_{yy}(1-r^2)</math>.
[[Category:統計學]]