查看“︁通用近似定理”︁的源代码

在[[人工神经网络]]的[[数学]]理论中， '''通用近似定理'''（或稱'''萬能近似定理'''）指出人工神經網络近似任意函數的能力<ref>{{Cite book|title=Neural Networks and Deep Learning|last=Nielsen|first=Michael|publisher=Determination Press|year=2015|isbn=|location=|pages=|url=http://neuralnetworksanddeeplearning.com/|accessdate=2020-08-27|language=en|chapter=4|chapterurl=http://neuralnetworksanddeeplearning.com/chap4.html|archive-date=2017-07-29|archive-url=https://web.archive.org/web/20170729043304/http://neuralnetworksanddeeplearning.com/|dead-url=no}}</ref>。 通常此定理所指的神經網路爲[[前饋神經網路]]，並且被近似的目標函數通常爲輸入輸出都在[[歐幾里得空間]]的連續函數。但亦有研究將此定理擴展至其他類型的神經網路，如[[卷積神經網路]]<ref>Zhou, Ding-Xuan (2020) Universality of deep convolutional neural networks; Applied and computational harmonic analysis 48.2 (2020): 787-794.</ref><ref>A. Heinecke, J. Ho and W. Hwang (2020); Refinement and Universal Approximation via Sparsely Connected ReLU Convolution Nets; IEEE Signal Processing Letters, vol. 27, pp. 1175-1179.</ref>、[[径向基函数网络|放射狀基底函數網路]]<ref>Park, Jooyoung, and Irwin W. Sandberg (1991); Universal approximation using radial-basis-function networks; Neural computation 3.2, 246-257.</ref>、或其他特殊神經網路<ref>Yarotsky, Dmitry (2018); Universal approximations of invariant maps by neural networks.</ref>。 

此定理意味着神經網路可以用來近似任意的復雜函數，並且可以達到任意近似精準度。但它並沒有說明要如何選擇神經網絡參數（權重、神經元數量、神經層層數等等）來達到想近似的目標函數。 

== 历史 ==
===1900年代===
{{main|希爾伯特第十三問題}}

===1950年代至60年代===

苏联数学家[[安德烈·柯爾莫哥洛夫|安德烈·柯尔莫哥洛夫]]與學生[[弗拉基米爾·阿諾德|弗拉基米尔·阿诺尔德]]在1950年代及60年代期間，證明多元函數可分解為以下形式（e.g. {{link-en|Kolmogorov–Arnold表示定理|Kolmogorov–Arnold representation theorem}}）:

:<math> f(\mathbf x) = f(x_1,\ldots ,x_n) = \sum_{q=0}^{2n} \Phi_{q}\left(\sum_{p=1}^{n} \phi_{q,p}(x_{p})\right) </math>.

===1980年代後===
[[乔治·西本科]]于1989年证明了單一隱藏層、任意宽度、並使用[[S型函數]]作爲[[激勵函數]]的[[前饋神經網路]]的通用近似定理<ref name="cyb">Cybenko, G. (1989) [http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.441.7873&rep=rep1&type=pdf "Approximations by superpositions of sigmoidal functions"] {{Wayback|url=http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.441.7873&rep=rep1&type=pdf|date=20210227132418}}, ''[[控制，信号和系统数学|Mathematics of Control, Signals, and Systems]]'', 2(4), 303–314. {{Doi|10.1007/BF02551274}}</ref>。科特·霍尼克（{{Lang-en|Kurt Hornik}}）在1991年证明 ，激勵函數的選擇不是關鍵，前饋神經網路的多層神經層及多神經元架構才是使神经网络有成为通用逼近器的關鍵<ref name="horn">Kurt Hornik (1991) "", ''Neural Networks'', 4(2), 251–257. {{Doi|10.1016/0893-6080(91)90009-T}}</ref>。

===2020 量子计算===
量子神经网络可以用电路量子计算机的不同数学工具来表示，从量子感知器到变分量子电路，都基于量子逻辑门的组合。变分量子电路基于参数电路，不涉及神经网络。相反，量子感知器能够设计具有与前馈神经网络相同结构的量子神经网络，前提是每个节点的阈值行为不涉及量子态的崩溃，即没有测量过程。 2022 年，这种为量子神经网络提供激活函数行为的免测量构建模块已经被设计出来 <ref name=maronese>{{cite journal|last1=Maronese|first1=Marco|last2=Destri|first2=Claudio|last3=Prati|first3=Enrico|title=Quantum activation functions for quantum neural networks|journal=Quantum Information Processing|publisher=Springer|date=2022|volume=21|issue=4|page=1-24|doi=10.1007/s11128-022-03466-0|arxiv=2201.03700|url=https://arxiv.org/abs/2201.03700|access-date=2022-07-20|archive-date=2022-07-20|archive-url=https://web.archive.org/web/20220720224825/https://arxiv.org/abs/2201.03700}}</ref>。
量子电路返回与量子比特相关的 -1 到 +1 区间内的压缩函数的任意近似值。这种设计任意量子激活函数的方法通常可以实现量子多感知器和量子前馈神经网络。

== 參見 ==
* {{le|Kolmogorov–Arnold表示定理|Kolmogorov–Arnold representation theorem}} 
* {{le|代表定理|Representer theorem}} 
* {{en-link|没有免费的午餐定理|No free lunch in search and optimization}}
* [[魏尔施特拉斯逼近定理|Stone–Weierstrass定理]] 
* [[傅里叶级数]]
* [[希爾伯特第十三問題]]

== 参考文献 ==
{{Reflist}}

[[Category:分析定理]]
[[Category:人工神经网络]]
[[Category:網路結構]]
[[Category:网络]]