全变差距离

在概率论中，全变差距离（Template:Lang-en）是概率测度的一种距离。它也是一种统计距离度量，有时也称为统计距离（Template:Lang-en）或变差距离（Template:Lang-en）。

定义

设 $ℱ$ 是样本空间 $Ω$ 的一个子集上的σ代数，两个概率测度 $P$ 与 $Q$ 在 $ℱ$ 上的全变差距离定义为^[1]

δ (P, Q) = \sup_{A \in ℱ} | P (A) - Q (A) | .

粗略地说，这是两个概率分布在同一事件上取值的最大差值。

全变差距离通过Pinsker不等式与Kullback-Leibler散度相联系：

δ (P, Q) \leq \sqrt{\frac{1}{2} D_{K L} (P ∥ Q)} .

当样本空间 $Ω$ 是可数集的时候，全变差距离与 $L^{1}$ 范数有等式关系^[2]：

δ (P, Q) = \frac{1}{2} ‖ P - Q ‖_{1} = \frac{1}{2} \sum_{ω \in Ω} | P (ω) - Q (ω) | .

↑ Chatterjee, Sourav. "Distances between probability measures" (PDF). UC Berkeley. Archived from the original (PDF) on July 8, 2008. Retrieved 21 June 2013.
↑ David A. Levin, Yuval Peres, Elizabeth L. Wilmer, 'Markov Chains and Mixing Times', 2nd. rev. ed. (AMS, 2017), Proposition 4.2, p. 48.