非线性最小二乘法

Template:回归侧栏 非线性最小二乘法是非线性形式的最小二乘法，用包含Template:Mvar个未知参数的非线性模型拟合Template:Mvar个观测值（$m\ge n$），可用于某些形式的非线性回归。该方法的基础是使用线性模型近似并通过连续迭代来优化参数。它与线性最小二乘法既有相同之处、也有一些显著差异。

理论

考虑一组$(x_1,y_1),(x_2,y_2),\dots ,(x_m,y_m)$共$m$个数据点以及曲线（模型函数）$\hat{y}=f(x,\mathit{\beta })$。该曲线同时取决于Template:Mvar与$\mathit{\beta }=({\beta }_1,{\beta }_2,\dots ,{\beta }_n)$共Template:Mvar个参数（满足$m\ge n$）。目标是找到在最小二乘意义上与数据点拟合最好的曲线所对应的参数$\mathit{\beta }$，即最小化平方和 $$S=\sum _{i=1}^m{r}_i^2,$$

其中残差Template:Math的定义为 $$r_i=y_i-f(x_i,\mathit{\beta }),(i=1,2,\dots ,m).$$

Template:Mvar取最小值时的梯度为零。由于模型包含Template:Mvar个参数，因此可得到Template:Mvar个梯度方程： $$\frac{\partial S}{\partial {\beta }_j}=2\sum _i{r}_i\frac{\partial r_i}{\partial {\beta }_j}=0(j=1,\dots ,n).$$

在非线性系统中，偏导数$\frac{\partial r_i}{\partial {\beta }_j}$同时是自变量Template:Mvar和参数$\mathit{\beta }$的函数，因此这些梯度方程通常没有封闭解。因而必须为参数选择初始值用以迭代求解。迭代表达式为 $${\beta }_j\approx {\beta }_j^{k+1}={\beta }_j^k+\mathrm{\Delta }{\beta }_j.$$

其中，Template:Mvar是迭代次数，$\mathrm{\Delta }\mathit{\beta }$则是偏移向量。每次迭代时，使用关于${\mathit{\beta }}^k$的一阶泰勒级数展开以线性化模型： $$f(x_i,\mathit{\beta })\approx f(x_i,{\mathit{\beta }}^k)+\sum _j\frac{\partial f(x_i,{\mathit{\beta }}^k)}{\partial {\beta }_j}({\beta }_j-{\beta }_j^k)=f(x_i,{\mathit{\beta }}^k)+\sum _j{J}_{ij}\mathrm{\Delta }{\beta }_j.$$

雅可比矩阵Template:Math是常数、自变量与参数的函数，因此每次迭代时的Template:Math并不固定。对线性化模型而言， $$\frac{\partial r_i}{\partial {\beta }_j}=-J_{ij},$$

残差的表达式则为 $$\mathrm{\Delta }{y}_i=y_i-f(x_i,{\mathit{\beta }}^k),$$ $$r_i=y_i-f(x_i,\mathit{\beta })=(y_i-f(x_i,{\mathit{\beta }}^k))+(f(x_i,{\mathit{\beta }}^k)-f(x_i,\mathit{\beta }))\approx \mathrm{\Delta }{y}_i-\sum _{s=1}^n{J}_{is}\mathrm{\Delta }{\beta }_s.$$

将上述表达式代入梯度方程，可以得到 $$-2\sum _{i=1}^m{J}_{ij}(\mathrm{\Delta }{y}_i-\sum _{s=1}^n{J}_{is}\mathrm{\Delta }{\beta }_s)=0,$$

以上方程可化简为Template:Mvar个联立的线性方程，称为正规方程（normal equations）： $$\sum _{i=1}^m\sum _{s=1}^n{J}_{ij}{J}_{is}\mathrm{\Delta }{\beta }_s=\sum _{i=1}^m{J}_{ij}\mathrm{\Delta }{y}_i(j=1,\dots ,n).$$

正规方程可用矩阵表示法写成 $$\left({𝐉}^{𝖳}𝐉\right)\mathrm{\Delta }\mathit{\beta }={𝐉}^{𝖳}\mathrm{\Delta }𝐲.$$

上述方程是使用Template:Le求解非线性最小二乘问题的的基础。

需要注意的是雅可比矩阵定义中导数的符号约定。某些文献中的Template:Math可能与此处的定义相差一个负号。

权重扩展

不同数据点（观测结果）的可靠性并不一定相同，此时可使用加权平方和 $$S=\sum _{i=1}^m{W}_{ii}{r}_i^2.$$

权重矩阵Template:Math是一个对角矩阵，理想情况下每个权重系数应等于观测误差方差的倒数。此时，正规方程可扩展为 $$\left({𝐉}^{𝖳}𝐖𝐉\right)\mathrm{\Delta }\mathit{\beta }={𝐉}^{𝖳}𝐖\mathrm{\Delta }𝐲.$$

参见

• 曲线拟合
• 灰箱模型
• 非线性规划
• 非线性回归
• 最优化
• 莱文伯格-马夸特方法

参考文献

• Template:Cite book
• Template:Cite book