查看“︁法諾不等式”︁的源代码

{{expand english|time=2019-03-30T09:56:12+00:00}}
{{expert|time=2019-03-30T04:12:43+00:00}}
'''法諾不等式'''（Fano's inequality）也稱為'''法諾引理'''（Fano lemma）是[[信息论]]中的一個定理，說明噪音[[信道]]中的平均信息损失和错误分类概率之間的關係。法諾不等式是[[羅伯特·法諾]]是1950年代於[[麻省理工学院]]教授博士讨论班的时候推導的，後來放在1961年編寫的教科書中。

法諾不等式在信息论中，提供了解码器错误概率的下界。在统计学中，提供了{{le|密度估计|Density_estimation}}时{{le|极小化极大风险|minimax risks}}的下界。

用符号 <math>H(\cdot)</math>表示熵， <math>H(X |Y)</math> 表示随机变量''X''与''Y''之间的条件熵，<math>\tilde{X}</math>表示对于''X''的分类，''e''表示分类错误的事件（<math>e = \{ X\neq \tilde{X}\} </math>），法诺不等式是说
:<math>
H(X |Y) \leq H(e) + P(e)\log(|\text{supp}(X)| - 1)
</math>
这里 <math>\text{supp}(X)</math> 是''X''可能取值（有限个）的集合。

==參考資料==
* P. Assouad, "Deux remarques sur l'estimation", ''Comptes Rendus de l'Académie des Sciences de Paris'', Vol. 296, pp.&nbsp;1021–1024, 1983.
* L. Birge, "Estimating a density under order restrictions: nonasymptotic minimax risk", Technical report, UER de Sciences Économiques, Universite Paris X, Nanterre, France, 1983.
* {{cite book|isbn=978-0-471-06259-2|year=1991|author=T. Cover, J. Thomas|title=Elements of Information Theory|pages=38–42|url=http://www.cs-114.org/wp-content/uploads/2015/01/Elements_of_Information_Theory_Elements.pdf|access-date=2019-03-30|archive-date=2020-11-12|archive-url=https://web.archive.org/web/20201112015318/http://www.cs-114.org/wp-content/uploads/2015/01/Elements_of_Information_Theory_Elements.pdf|dead-url=no}}
* L. Devroye, ''A Course in Density Estimation''. Progress in probability and statistics, Vol 14. Boston, Birkhauser, 1987. {{ISBN|0-8176-3365-0}}, {{ISBN|3-7643-3365-0}}.
* {{cite book | last=Fano | first=Robert | title=Transmission of information: a statistical theory of communications | publisher=MIT Press | publication-place=Cambridge, Mass | year=1968 | url=https://archive.org/details/TransmissionOfInformationAStatisticalTheoryOfCommunicationRobertFano| isbn=978-0-262-56169-3 | oclc=804123877 | ref=harv}}
** also: Cambridge, Massachusetts, M.I.T. Press, 1961. {{ISBN|0-262-06001-9}}
* R. Fano, ''[http://www.scholarpedia.org/article/Fano_inequality Fano inequality] {{Wayback|url=http://www.scholarpedia.org/article/Fano_inequality |date=20210126164922 }}'' Scholarpedia, 2008.
* I. A. Ibragimov, R. Z. Has′minskii, ''Statistical estimation, asymptotic theory''. Applications of Mathematics, vol. 16, Springer-Verlag, New York, 1981. {{ISBN|0-387-90523-5}}

{{技術小作品}}
[[Category:不等式]]
[[Category:信息论]]