查看“︁独立 (概率论)”︁的源代码

{{expert|time=2017-10-16T23:55:25+00:00}}
{{noteTA|G1=Math}}
{{Probability fundamentals}}
在[[機率論]]裡，說兩個[[事件_(概率论)|事件]]是'''獨立'''的，直覺上是指一次实验中一事件的發生不會影響到另一事件發生的機率。例如，在一般情况下可以认为连续两次掷骰子得到的点数结果是相互獨立的。類似地，兩個[[隨機變量]]是獨立的，若其在一事件給定觀測量的條件機率分佈和另一事件沒有被觀測的機率分佈是一樣的。

对于两个以上的事件，需要区分两种独立的概念。如果集合中的任意两个事件相互独立，则这些事件称为'''两两独立'''（{{lang|en|Pairwise independent}}），而事件'''相互独立'''（{{lang|en|Mutually independent}}）指每个事件独立于集合中其他事件的任何交集。在概率论、统计学和随机过程的标准文献中，没有限定词的'''独立'''通常指'''相互独立'''。

== 獨立事件 ==

=== 对于兩個事件 ===

兩個事件''A''和''B''是'''獨立的''' '''[[当且仅当]]''' <math>\mathrm{Pr}(A \cap B) = \mathrm{Pr}(A)\mathrm{Pr}(B)</math>。

這裡，''A'' ∩ ''B''是''A''和''B''的[[交集]]，即為''A''和''B''兩個事件都會發生的事件。

=== 对于任意個事件 ===

若有限个事件构成的集合<math> \{ A_i \} _{i=1}^{n}</math>中每对事件都是独立的，则这些事件是'''兩兩獨立'''(pairwise independent)的。<ref name ="Feller">{{cite book | last = Feller | first = W | year = 1971 | title = An Introduction to Probability Theory and Its Applications | publisher = [[John Wiley & Sons|Wiley]] | chapter = Stochastic Independence}}</ref>

即'''当且仅当'''对任意的<math>i,j\in \{ 1,...,n\} ,i\ne j</math>，有

:<math>\mathrm{Pr}(A_i \cap A_j) = \mathrm{Pr}(A_i)\mathrm{Pr}(A_j)</math>


若有限个事件构成的集合<math> \{ A_i \} _{i=1}^{n}</math>中每个事件都与任何其他事件构成的交集独立，则这些事件是'''相互獨立'''(mutually independent) 的。

即'''当且仅当'''對其任一有限子集''A''<sub>1</sub>, ..., ''A''<sub>''n''</sub>，會有

:<math>\Pr(A_1 \cap \cdots \cap A_n)=\Pr(A_1)\,\cdots\,\Pr(A_n)</math>。

或写作：<math>\Pr\left(\bigcap_{i=1}^n A_i\right)=\prod_{i=1}^n \Pr(A_i). \!\,</math>

這被稱為獨立事件的''乘法規則''。

=== 独立事件的性质 ===

若兩個事件''A''和''B''是獨立的，則其''B''給之''A''的[[條件機率]]和''A''的「無條件機率」一樣，即

:<math>\Pr(A\mid B)=\Pr(A)\,</math>。

至少有兩個理由可以解釋為何此一敘述不可以當做獨立性的定義：(1)''A''和''B''兩個事件在此敘述中並不對稱，及(2)當機率為0亦可包含於此敘述時，會有問題產生。

若回想條件機率Pr(''A'' | ''B'')的定義為

:<math>\Pr(A\mid B)={\Pr(A \cap B) \over \Pr(B)},</math> (只要Pr(''B'') ≠ 0 )

則上面的敘述則會等價於

:<math>\Pr(A \cap B)=\Pr(A)\Pr(B)</math>

即為上面所給定的標準定義。

注意獨立性並不和它在地方話裡的有相同的意思。例如，一事件獨立於其自身当且仅当：

:<math>\Pr(A) = \Pr(A \cap A) = \Pr(A)\Pr(A)\,</math>

亦即，其機率不是零就是一。因此，當一事件或其[[補集]][[几乎必然|幾乎確定]]會發生，它即是獨立於其本身。例如，若事件''A''從[[單位區間]]的[[連續型均勻分佈]]上選了0.5，則''A''是獨立於其自身的，儘管[[重言式]]地，''A''完全決定了''A''。

== 獨立隨機變量 ==

上面所定義的是''事件''的獨立性。在這一節中，我們將處理[[隨機變量]]的獨立性。若''X''是一[[實數]]值隨機變量且''a''是一數字的話，則''X''&nbsp;≤&nbsp;''a''的事件是一個事件，所以可以有意義地說它是否會獨立於其他的事件。

兩個隨機變數''X''和''Y''是獨立的[[若且唯若]]對任何數字''a''和''b''，事件[''X'' ≤ ''a''](''X''小於或等於''a''的事件)和[''Y'' ≤ ''b'']為如上面所定義的獨立事件。類似地，隨意數量的隨機變數是明確地獨立的，若對任一有限子集''X''<sub>1</sub>, ..., ''X''<sub>''n''</sub>和任一數字的有限子集''a''<sub>1</sub>, ..., ''a''<sub>''n''</sub>，其事件[''X''<sub>1</sub> ≤ ''a''<sub>1</sub>], ..., [''X''<sub>''n''</sub> ≤ ''a''<sub>''n''</sub>]會是如上面所定義的獨立事件。

其量測可以由事件[''X'' ∈ ''A'']來取代上面所定義的事件[''X'' ≤ ''a'']，其中''A''為任一[[包絡代數|包絡集合]]。此一定義完全和上述其隨機變數的值為[[實數]]的定義等價。且他有著可以作用於複值隨機變數和在任一[[拓撲空間]]中取值之隨機變數上的優點。

即使任意數目中的任二個隨機變數都是獨立的，但它們可能仍舊會無法互相獨立；這種的獨立被稱為[[兩兩獨立]]。

若''X''和''Y''是獨立的，則其[[期望值]]''E''會有下列的好性質：
E[''X'' ''Y''] = E[''X''] E[''Y''],
（假定都存在）且其[[方差]]（若存在）满足
:var(''X'' + ''Y'') = var(''X'') + var(''Y''),
因为其[[協方差]] cov(''X'',''Y'') 為零。(其逆命题不成立，即若兩個隨機變數的協方差為0，它們不一定独立。)

此外，具有[[累積分佈函數|分佈函數]]''F''<sub>''X''</sub>(''x'') 及 ''F''<sub>''Y''</sub>(''y'')和[[機率函數|機率密度]]''f''<sub>''X''</sub>(''x'') 及 ''f''<sub>''Y''</sub>(''y'')的隨機變數''X''和''Y''為獨立的，若且唯若其相結合的隨機變數(''X'',''Y'')有一共同分佈

::<math>F_{X,Y}(x,y) = F_X(x) F_Y(y),</math>

或等價地，有一共同密度

::<math>f_{X,Y}(x,y) = f_X(x) f_Y(y)</math>。

類似的表示式亦可以用來兩個以上的隨機變數上。

== 條件獨立隨機變數 ==

{{main|条件独立}}

直觉地，两个随机变量''X''和''Y''给定''Z''条件独立，如果：一旦知道了''Z''，从''Y''的值便不能得出任何关于''X''的信息。例如，相同的数量''Z''的两个测量''X''和''Y''不是独立的，但它们是'''给定''Z''条件独立'''（除非两个测量的误差是有关联的）。

条件独立的正式定义是基于[[条件分布]]的想法。如果''X''、''Y''和''Z''是[[随机变量#离散型随机变量|离散型随机变量]]，那么我们定义''X''和''Y''给定''Z''条件独立，如果对于所有使<math>\mathrm{Pr}(Z \le z) > 0</math>的''x''、''y''和''z''，都有：

:<math>\mathrm{P}(X \le x, Y \le y\;|\;Z = z) = \mathrm{Pr}(X \le x\;|\;Z = z) \cdot \mathrm{Pr}(Y \le y\;|\;Z = z)</math>

另一方面，如果随机变量是[[随机变量#连续型随机变量|连续]]的，且具有[[联合概率密度]]''p''，那么''X''和''Y''给定''Z''[[条件独立]]，如果对于所有使<math>p_Z(z) > 0</math>的实数''x''、''y''和''z''，都有：

:<math>p_{XY|Z}(x, y | z) = p_{X|Z}(x | z) \cdot p_{Y|Z}(y | z)</math>

如果''X''和''Y''给定''Z''条件独立，那么对于任何满足<math>\mathrm{Pr}(Z = z) > 0</math>的''x''、''y''和''z''，都有：

:<math>\ \mathrm{Pr}(X = x | Y = y, Z = z) = \mathrm{Pr}(X = x | Z = z)</math>

也就是说，''X''给定''Y''和''Z''的条件分布，与仅仅给定''Z''的条件分布是相同的。对于连续的情况下的条件概率密度函数，也有一个类似的公式。 

独立性可以视为条件独立的一个特例，因为概率可以视为不给定任何事件的条件概率。

== 另見 ==

* [[耦合_(概率)|耦合]]
* [[獨立且同態隨機變數]]

== 書籍 ==
* Kirby Faciane (2006). ''Statistics for Empirical and Quantitative Finance''. H.C. Baird: Philadelphia. ISBN 0-9788208-9-4.

==参考资料==
{{refs}}

[[Category:獨立 (機率論)]]