半参数回归

Template:回归侧栏 统计学中，半参数回归包括结合了参数模型和非参数模型的回归模型。它们通常用于完全非参数模型可能表现不佳的情况，或者研究人员希望使用参数模型，但与回归子集有关的函数形式或误差密度不为人知的情况。半参数回归模型是半参数建模的一种特殊类型。半参数模型包含参数成分，依赖于参数假设，可能会出现规范误差与不一致的情况。

方法

目前已有许多不同的半参数回归方法。最流行的方法是部分线性模型、指数模型和变系数模型。

部分线性模型

部分线性模型如下

$Y_i=X{\text{'}}_i\beta +g\left(Z_i\right)+u_i,i=1,\dots ,n,$

其中$Y_i$是因变量，$X_i$是解释变量的$p\times 1$向量，$\beta$是未知参数的$p\times 1$向量，$Z_i\in {\mathrm{R}}^q$。部分线性模型的参数部分由参数向量$\beta$给出，而非参数部分是未知函数$g\left(Z_i\right)$。假设数据与$E(u_i|X_i,Z_i)=0$独立同分布，模型允许未知形式的条件异方差误差过程$E(u_i^2|x,z)={\sigma }^2(x,z)$。这类模型由Robinson (1988)提出，并由Racine & Li (2007)扩展到处理分类协变量。

这种方法先获得$\beta$的$\sqrt{n}$一致估计量，然后用适当的非参数回归方法，从$Y_i-X{\text{'}}_i\hat{\beta }$对$z$的非参数回归中推出$g\left(Z_i\right)$的估计量。

指数模型

单一指数模型的形式是

$Y=g\left(X^{\prime }{\beta }_0\right)+u,$

其中$Y$、$X$、${\beta }_0$的定义与上文相同，误差项$u$满足$E(u|X)=0$。单一指数模型得名于模型的参数部分$x^{\prime }\beta$，是标量单指数。非参数部分是未知函数$g(\cdot )$。

市村法

市村(1993)提出的单一指数模型法如下。考虑$y$连续情形，给定函数$g(\cdot )$的已知形式，${\beta }_0$可用非线性最小二乘法估计，使函数

$\sum _{i=1}{(Y_i-g\left(X{\text{'}}_i\beta \right))}^2.$

最小化。$g(\cdot )$的函数形式未知，需要估计。对给定$\beta$值，函数估计值可用核密度估计得到，为

$G\left(X{\text{'}}_i\beta \right)=E(Y_i|X{\text{'}}_i\beta )=E[g\left(X{\text{'}}_i{\beta }_o\right)|X{\text{'}}_i\beta ]$

市村(1993)建议用下式估计$g\left(X{\text{'}}_i\beta \right)$：

${\hat{G}}_{-i}\left(X{\text{'}}_i\beta \right),$

为$G\left(X{\text{'}}_i\beta \right)$的留一非参数核估计量.

Klein与Spady估计量

Klein & Spady (1993)提出，若因变量$y$是二元的，并假设$X_i$、$u_i$独立，则可用最大似然估计法估计$\beta$。对数似然函数为

$L\left(\beta \right)=\sum _i(1-Y_i)\ln (1-{\hat{g}}_{-i}\left(X{\text{'}}_i\beta \right))+\sum _i{Y}_i\ln \left({\hat{g}}_{-i}\left(X{\text{'}}_i\beta \right)\right),$

其中${\hat{g}}_{-i}\left(X{\text{'}}_i\beta \right)$是留一估计量。

平滑系数/变系数模型

Hastie & Tibshirani (1993)提出了一种平滑系数模型

$Y_i=\alpha \left(Z_i\right)+X{\text{'}}_i\beta \left(Z_i\right)+u_i=(1+X{\text{'}}_i)\left(\begin{array}{c}\alpha \left(Z_i\right)\\ \beta \left(Z_i\right)\end{array}\right)+u_i=W{\text{'}}_i\gamma \left(Z_i\right)+u_i,$

其中$X_i$是$k\times 1$向量，$\beta \left(z\right)$是$z$的未定平滑函数向量。

$\gamma (\cdot )$可表为

$\gamma \left(Z_i\right)={\left(E[W_{i}W{\text{'}}_i|Z_i]\right)}^{-1}E[W_i{Y}_i|Z_i].$

另见

• 非参数回归

参考文献

• Template:Cite journal
• Template:Cite book
• Template:Cite journal
• Template:Cite journal
• Template:Cite journal
• Template:Cite journal