查看“︁全变差距离”︁的源代码

在[[概率论]]中，'''全变差距离'''（{{lang-en|total variation distance}}）是概率测度的一种距离。它也是一种[[统计距离]]度量，有时也称为'''统计距离'''（{{lang-en|statistical distance}}）或'''变差距离'''（{{lang-en|variational distance}}）。

== 定义 ==
设<math>\mathcal F</math>是样本空间<math>\Omega</math>的一个子集上的[[σ代数]]，两个[[概率测度]]<math>P</math>与<math>Q</math>在<math>\mathcal F</math>上的全变差距离定义为<ref>Chatterjee, Sourav. "Distances between probability measures" (PDF). UC Berkeley. Archived from the original (PDF) on July 8, 2008. Retrieved 21 June 2013.</ref>

: <math>\delta(P,Q)=\sup_{ A\in \mathcal{F}}\left|P(A)-Q(A)\right|. </math>

粗略地说，这是两个[[概率分布]]在同一事件上取值的最大差值。

== 性质 ==

=== 与其他距离的关系 ===
全变差距离通过Pinsker不等式与[[相对熵|Kullback-Leibler散度]]相联系：

: <math>\delta(P,Q) \le \sqrt{\frac{1}{2} D_{\mathrm{KL}}(P\parallel Q)}.</math>

当样本空间<math>\Omega</math>是可数集的时候，全变差距离与<math>L^1</math>范数有等式关系<ref>David A. Levin, Yuval Peres, Elizabeth L. Wilmer, 'Markov Chains and Mixing Times', 2nd. rev. ed. (AMS, 2017), Proposition 4.2, p. 48.</ref>：

: <math>\delta(P, Q)=\frac12\|P-Q\|_1=\frac12\sum_{\omega\in\Omega}|P(\omega)-Q(\omega)|.</math>

== 另见 ==

* [[总变差|全变差]]
* [[柯尔莫哥洛夫-斯米尔诺夫检验]]

== 参考文献 ==
{{reflist}}

[[Category:概率论]]
[[Category:度量几何]]
[[Category:統計分析]]
{{math-stub}}