查看“︁非参数回归”︁的源代码

{{回归侧栏}}
'''非参数回归'''指的是一类[[回归分析]]，其中的预测子不是预先确定的，而根据从数据中获得的信息。也就是说，预测子与因变量之间的关系不会假定为参数形式。非参数回归需要更大的样本量，因为数据必须提供[[参数模型]]结构和模型估计值。

== 定义 ==
非参数回归中，有随机变量<math>X</math>、<math>Y</math>，并假设其关系如下：
:<math>
\mathbb{E}[Y\mid X=x] = m(x),
</math>
其中<math>m(x)</math>是某个确定函数。[[线性回归]]也是非参数回归的一种，<math>m(x)</math>假定为仿射。
有些学者使用了稍强的加性噪声假设：
:<math>
Y = m(X) + U,
</math>
其中随机变量<math>U</math>是“噪声项”，均值为0.
若不假设<math>m</math>属于特定的函数参数族，就不可能得到<math>m</math>的无偏估计，但大多数估计量在适当条件下都是[[一致性 (统计学)|一致]]的。

==通用非参数回归算法列表==
这是非参数回归模型的非详尽列表。

* 最邻近法，参考[{最近邻插值}]]和[[K-近邻算法]] 
* [[决策树学习]]
* [[核回归]]
* [[局部回归]]
* [[多元自适应回归样条]]
* [[平滑样条]]
* [[神经网络]]<ref>Statistical and neural network techniques for nonparametric regression by Vladimir Cherkassky, Filip Mulier https://link.springer.com/chapter/10.1007/978-1-4612-2660-4_39 {{Wayback|url=https://link.springer.com/chapter/10.1007/978-1-4612-2660-4_39 |date=20230515214821 }}</ref>

== 例子 ==
=== 高斯过程回归/克里金法 ===
{{Main|高斯过程回归}}
高斯过程回归也称克里金法，假设回归曲线的先验为正态分布，并假设误差遵循[[多元正态分布]]，回归曲线由[[最大后验概率|后验模式]]估计。正态先验可能取决于未知的超参数，可用[[经验贝叶斯方法]]估计。
超参数通常指定一个先验协方差核。若核也要从数据中进行非参数推断，则可使用[[信息域|临界滤波器]]。

[[平滑样条法]]可解释为高斯过程货柜的后验模式。

=== 核回归 ===
{{Main|核回归}}
[[File:NonparRegrGaussianKernel.png|thumb|使用高斯核平滑器对小数据集（黑点）进行非参数回归拟合（红线）。粉色阴影展示了核函数，以获得给定x值的y估计值。核函数定义了在得出目标点估计值时，给每个数据点的权。]]{{Unreferenced section|date=August 2020}}
核回归用[[核函数]][[卷积]]数据点位置，从有限的数据点中估计连续因变量。近似地说，核函数说明了“模糊”数据点影响的方法，以便用它们的值预测附近位置的值。
=== 回归树 ===
{{Main|决策树学习}}

决策树学习算法可以从数据中学习，以预测因变量。<ref name="bfos">{{Cite book
|last=Breiman
|first=Leo
|author2=Friedman, J. H. |author3=Olshen, R. A. |author4=Stone, C. J. 
|title=Classification and regression trees
|year=1984
|publisher=Wadsworth & Brooks/Cole Advanced Books & Software
|location=Monterey, CA
|isbn=978-0-412-04841-8
}}</ref>虽然最初的分类回归树（CART）公式仅适用于预测单变量数据，该框架也可用于预测多变量数据，包括时间序列。<ref>{{Cite journal
 | last = Segal
 | first = M.R.
 | year = 1992
 | title = Tree-structured methods for longitudinal data
 | url = https://archive.org/details/sim_journal-of-the-american-statistical-association_1992-06_87_418/page/407
 | periodical = Journal of the American Statistical Association
 | volume =87
 | issue =418
 | pages =407–418
 | jstor =2290271
 | doi = 10.2307/2290271
| publisher = American Statistical Association, Taylor & Francis
 }}</ref>

==另见==
* [[Lasso算法]]
* [[局部回归]]
* [[非参数统计]]
* [[半参数回归]]
* [[保序回归]]
* [[多元自适应回归样条法]]

==参考文献==
{{Reflist}}

==阅读更多==
* {{cite book |last=Bowman |first=A. W. |first2=A. |last2=Azzalini |year=1997 |title=Applied Smoothing Techniques for Data Analysis |publisher=Clarendon Press |location=Oxford |isbn=0-19-852396-3 |url=https://books.google.com/books?id=7WBMrZ9umRYC }}
* {{cite book |last=Fan |first=J. |first2=I. |last2=Gijbels|author2-link= Irène Gijbels |year=1996 |title=Local Polynomial Modelling and its Applications |location=Boca Raton |publisher=Chapman and Hall |isbn=0-412-98321-4 |url=https://books.google.com/books?id=BM1ckQKCXP8C }}
* {{cite book |last=Henderson |first=D. J. |first2=C. F. |last2=Parmeter |title=Applied Nonparametric Econometrics |location=New York |publisher=Cambridge University Press |year=2015 |isbn=978-1-107-01025-3 |url=https://books.google.com/books?id=hD3WBQAAQBAJ }}
* {{cite book |last=Li |first=Q. |first2=J. |last2=Racine |year=2007 |title=Nonparametric Econometrics: Theory and Practice |location=Princeton |publisher=Princeton University Press |isbn=978-0-691-12161-1 |url=https://books.google.com/books?id=BI_PiWazY0YC }}
* {{cite book |last=Pagan |first=A. |author-link=Adrian Pagan |first2=A. |last2=Ullah |year=1999 |title=Nonparametric Econometrics |location=New York |publisher=Cambridge University Press |isbn=0-521-35564-8 |url=https://archive.org/details/nonparametriceco00paga |url-access=registration }}

==外部链接==
*[http://www.hyperniche.com/ HyperNiche, software for nonparametric multiplicative regression] {{Wayback|url=http://www.hyperniche.com/ |date=20040920004546 }}.
*[http://www.cs.tut.fi/~lasip Scale-adaptive nonparametric regression] {{Wayback|url=http://www.cs.tut.fi/~lasip |date=20201031201040 }} (with Matlab software).

{{统计学}}

[[Category:無母數迴歸| ]]