查看“︁贝叶斯统计”︁的源代码

{{贝叶斯统计}}
{{noteTA
|G1=Math
|1= zh-cn: 推断;zh-tw:推論
|2= zh-cn: 概率;zh-tw:機率
|3= zh-cn: 变量;zh-tw:變數;zh-hk:變量
|4=zh-cn: 信息;zh-tw:訊息
|5=zh-cn: 费希尔;zh-tw:費雪
|6=zh-cn: 参数;zh-tw:母數;zh-hant:參數
|7=zh-cn:贝叶斯;zh-hk:貝葉斯;zh-tw:貝氏;
|8=zh-cn:边缘;zh-hk:邊緣;zh-tw:邊際
|9=zh-cn:托马斯·贝叶斯;zh-hk:托馬斯·貝葉斯;zh-tw:托馬斯·貝葉斯
}}
'''贝叶斯统计'''是一种基于[[贝叶斯概率]]的统计学理论，以贝叶斯统计的开创人，[[数学家]]、[[长老会]][[牧师]][[托马斯·贝叶斯]]命名。法国数学家[[皮埃尔-西蒙·拉普拉斯]]后来在托马斯·贝叶斯工作的基础上进一步发展了贝叶斯统计，并发明了拉普拉斯平滑等现代贝叶斯统计中常用的方法<ref>{{Cite book| title = The Theory That Would Not Die: How Bayes' Rule Cracked the Enigma Code, Hunted Down Russian Submarines, and Emerged Triumphant from Two Centuries of Controversy | url = https://archive.org/details/theorythatwouldn0000shar |edition=First | publisher = Chapman and Hall/CRC | year = 2012 | isbn = 978-0-3001-8822-6|last1=McGrayne|first1=Sharon|author-link1=Richard McElreath}}</ref>。

贝叶斯统计学认为概率是一种基于个人经验、之前的相关实验结果等[[先验]]信息而得出的{{le|信念度|Credence (statistics)}}（{{lang|en|degree of belief}}），没有必要经由反复实验验证。这一点也是贝叶斯学派与[[频率学派推断|频率学派]]的主要不同之处，因为频率学派认为概率是经反复的实验后频率应达到的[[极限]]（[[大数定理]]）<ref>{{cite web|author=F. Javier Rubio, Professor Karla DiazOrdaz（王超辰译）|title=贝叶斯统计入门|url=https://wangcc.me/LSHTMlearningnote/intro-Bayes.html|access-date=2023-06-15|archive-date=2022-08-14|archive-url=https://web.archive.org/web/20220814194637/https://wangcc.me/LSHTMlearningnote/intro-Bayes.html|dead-url=no}}</ref><ref name="bda">{{Cite book|last1=Gelman|first1=Andrew|title=Bayesian Data Analysis |edition=Third|last2=Carlin|first2=John B.|last3=Stern|first3=Hal S.|last4=Dunson|first4=David B.|last5=Vehtari|first5=Aki|last6=Rubin|first6=Donald B.|publisher=Chapman and Hall/CRC|year=2013|isbn=978-1-4398-4095-5|author-link1=Andrew Gelman|author-link2=John Carlin (professor)|author-link6=Donald Rubin}}</ref>。

贝叶斯统计的核心方法是基于[[贝叶斯定理]]，用取得的数据（可记为<math>B</math>）对根据个人经验等先验信息对希望研究的命题或假设（可记为<math>A</math>）[[先验概率]]<math>P(A)</math>进行修正，得到[[后验概率]]<math>P(A|B)</math><ref name="rethinking">{{Cite book| title = Statistical Rethinking : A Bayesian Course with Examples in R and Stan | url = https://archive.org/details/statisticalrethi0000mcel |edition=2nd | publisher = Chapman and Hall/CRC | year = 2020 | isbn = 978-0-367-13991-9 |last1=McElreath|first1=Richard|author-link1=Richard McElreath}}</ref><ref>{{cite book |first=John |last=Kruschke |author-link=John K. Kruschke |title=Doing Bayesian Data Analysis: A Tutorial with R, JAGS, and Stan |location= |publisher=Academic Press |edition=2nd |year=2014 |isbn=978-0-12-405888-0 }}</ref>。

在过去很长一段时间，贝叶斯统计并不受学界的重视。一方面，长期流行的很多统计学方法都是基于频率学派的，因此很长时间内统计学界都是以频率学派占主导地位。频率学派常常批评贝叶斯统计中的先验概率过于主观。另一方面，贝叶斯统计方法往往涉及复杂的计算，这在电子计算机尚不普及的时代是一个很大的问题。不过，随计算机技术的不断发展以及[[马尔可夫链蒙特卡洛]]等新算法的出现，21世纪贝叶斯统计已在统计学中占愈发重要的地位<ref name="bda" /><ref>{{cite journal |last1=Fienberg |first1=Stephen E. |title=When Did Bayesian Inference Become "Bayesian"? |date=2006|journal=Bayesian Analysis|volume=1|issue=1|pages=1–40 |doi=10.1214/06-BA101 |doi-access=free }}</ref>

==贝叶斯公式==
{{main|贝叶斯公式}}
假设有两个事件，分别记为<math>A</math>与<math>B</math>。<math>A</math>是人们希望探究的一个[[命题]]或[[假设]]（例如“丢出一枚硬币之后正面朝上的概率是50%”），而<math>B</math>则是有关的实验证据（例如丢出20次硬币后的每次硬币正面朝上还是朝下的结果）<ref name="grinsteadsnell2006">{{cite book |last1=Grinstead |first1=Charles M. |last2=Snell |first2=J. Laurie |title=Introduction to probability |date=2006 |publisher=American Mathematical Society |location=Providence, RI |isbn=978-0-8218-9414-9 |edition=2nd}}</ref>：

<math display="block">P(A \mid B) = \frac{P(B \mid A)P(A)}{P(B)}</math>

该公式中，<math>P(A)</math>被称为先验概率，是基于经验、先前的实验结果等得出的一个概率。<math>P(A \mid B) </math>则是根据证据<math>B</math>修正后<math>A</math>的概率，称为后验概率。贝叶斯统计学中一般需要求得[[最大后验概率]]，即后验概率的众数<ref name="bda" />。<math>P(B \mid A)</math>被称为[[似然]]函数，因为基于{{le|似然原则|equivalent principle}}（{{lang|en|equivalent principle}}）<math>P(B \mid A)=L(A \mid B)</math>，即[[条件概率]]<math>P(B \mid A)</math>等于条件B下A的似然。<math>P(B)</math>一般被称为“证据”，可由[[全機率定理|全概率定理]]算出，求出在所有<math>A</math>的不同情况下<math>A</math>、<math>B</math>的[[联合概率]]之和<ref name="bda" /><ref name="grinsteadsnell2006" />：

<math display="block">P(B) = P(B \mid A_1)P(A_1) + P(B \mid A_2)P(A_2) + \dots + P(B \mid A_n)P(A_n) = \sum_i P(B \mid A_i)P(A_i)</math>。

<math>B</math>的[[概率分布]]一般是[[连续]]的，这往往造成<math>P(B)</math>的计算涉及到复杂的[[积分]]。不过，使用[[变分贝叶斯方法]]或马尔可夫链蒙特卡洛等方法可在不涉及计算<math>P(B)</math>的情况下求得所需的最大后验概率，在这种情况下可以只考虑先验概率与似然函数对后验概率的影响（<math>\propto </math>符号代表“成正比”）：

<math display="block">P(A \mid B) \propto P(B \mid A)P(A)</math>

==贝叶斯推断==
{{main|贝叶斯推断}}
贝叶斯统计的思想可用于贝叶斯推断中。贝叶斯推断，顾名思义，是指使用贝叶斯统计的思想进行[[统计推断]]，即利用样本推断总体情况的过程。贝叶斯推断与[[频率学派推断]]的一个最大不同是频率学派认为总体的频率是一定的，只是我们无法准确知道，但在样本量足够大时频率会逐渐收敛于真实的概率值<ref>{{Cite journal |last=Lee|first=Se Yoon|  title = Gibbs sampler and coordinate ascent variational inference: A set-theoretical review|journal=Communications in Statistics - Theory and Methods|year=2021|volume=51 |issue=6 |pages=1549–1568 |doi=10.1080/03610926.2021.1921214|arxiv=2008.01006|s2cid=220935477 }}</ref>。因此频率学派推断不会为假设或者模型的参数赋予一个概率。例如频率学派推断中不会有“下次投硬币正面朝上概率为1/2这种说法”，而是会认为，经过不断大量实验，（如果这枚硬币是完美均匀的），那么正面朝上的频率会逐渐趋近于1/2。因此频率学派推断一般是给出[[统计量]]以及其[[置信区间]]<ref>{{cite book|author1=Cameron Davidson-Pilon|author2=辛愿、欧阳婷译|title=贝叶斯方法 概率编程与贝叶斯推断|publisher=[[人民邮电出版社]]|year=2016|ISBN=978-7-115-43880-5}}</ref>{{rp|1-3}}。贝叶斯推断则会先基于经验、先前的研究等[[先验]]知识给假设赋予一个先验概率（例如实验者基于经验认为的硬币朝上的概率）或者先验概率分布，再使用实验得到的证据来修正这个先验概率，得到更契合证据的后验概率或后验概率分布。后验概率或后验概率分布即贝叶斯推断的输出<ref name="bda" /><ref name="congdon2014">{{cite book |last1=Congdon |first1=Peter |title=Applied Bayesian modelling |url=https://archive.org/details/appliedbayesianm0000cong_w7u2 |date=2014 |publisher=Wiley |isbn=978-1119951513 |edition=2nd}}</ref>。

因为贝叶斯推断的这一特点，贝叶斯推断很适合用来做{{le|探索性数据分析|exploratory data analysis}}，意即揭示数据的结构的分析过程<ref>Diaconis, Persi (2011) Theories of Data Analysis: From Magical Thinking Through Classical Statistics. John Wiley & Sons, Ltd 2:e55 {{doi|10.1002/9781118150702.ch1}}</ref> 。

==参见==
*[[贝叶斯推理]]

==参考文献==
{{reflist}}

[[Category:贝叶斯统计]]