方差

来自testwiki
跳转到导航 跳转到搜索

Template:NoteTA Template:Multiple issues Template:Otheruses Template:各地漢字名

两个来自不同总体的样本的案例,均值相同但方差不同。两者总体均值都是100,红色总体的方差为100(標準差SD=10),而蓝色总体的方差为2500(SD=50)。

變異數Template:Lang-en)又稱-{zh-cn: 变异数; zh-hk: 變異數; zh-tw:方差}-[1]變方[2],在概率论统计学中,描述的是一个随机变量的离散程度,即一组数字与其平均值之间的距离的度量,是随机变量与其总体均值或样本均值的离差的平方的期望值。方差在统计中有非常核心的地位,其应用领域包括描述统计学推論統計學假說檢定、度量拟合优度,以及蒙特卡洛采样。由于科学分析经常涉及统计,方差也是重要的科研工具。方差是標準差的平方、分布的二阶矩,以及随机变量与其自身的协方差,其常用的符号表示有σ2s2Var(X)V(X),以及𝕍(X)[3]

方差作为离散度量的优点是,它比其他离散度量(如平均差)更易于代数运算;例如,一组不相关的随机变量和的方差等于它们方差的和。在实际应用中,方差的一个缺点是它与随机变量的单位不同,而標準差则单位相同,这就是计算完成后通常采用标准差来衡量离散程度的原因。

有两个不同的概念都被称为“方差”。一种如上所述,是理论概率分布的方差。而另一种方差是一组观测值的特征。观测值通常是从真实世界的系统中测量的。如果给出系统的所有可能的观测,则它们算出的方差称为总体方差;然而,一般情况下我们只使用总体的一个子集(样本),由此计算出的方差称为样本方差。用样本计算出的方差可认为是对整个总体的方差的估计量。

方差的正平方根称为该随机变量的標準差;方差除以期望值归一化的值叫分散指数;标准差除以平均值归一化的值叫变异系数

定义

Template:Mvar为服从分布Template:Mvar随机变量,如果Template:Math是随机变量Template:Mvar期望值(均值Template:Math),则随机变量Template:Mvar或者分布Template:Mvar的方差为Template:Mvar离差平方的期望值:

Var(X)=E[(Xμ)2]

这个定义涵盖了连续、离散,或两者皆非的随机变量。方差亦可視作随机变量与自身的协方差

Var(X)=Cov(X,X)

方差也等价于生成Template:Mvar的概率分布的二阶累积量。方差的常用的表达有Var(X),有时作V(X)𝕍(X),也可写作符号σX2σ2(读作“sigma方”)。方差的表达式可展开如下:

Var(X)=E[(XE[X])2]=E[X22XE[X]+E[X]2]=E[X2]2E[X]E[X]+E[X]2=E[X2]E[X]2

也就是说,Template:Mvar的方差等于Template:Mvar平方的均值减去Template:Mvar均值的平方。该等式不应该用于浮点运算,因为如果等式的两个成分大小相似,将会造成灾难性抵消

离散随机变量

如果随机变量Template:Mvar是具有概率质量函數的离散随机分布Template:Math,則:

Var(X)=i=1npi(xiμ)2=i=1n(pixi2)μ2

此處μ是其期望值,即:

μ=i=1npixi.

xi 表示實現值(realized value)

Template:Mvar為有Template:Mvar個相等機率值的離散型均勻分佈時:

μ=1ni=1nxi,
Var(X)=σ2=1ni=1n(xiμ)2=1n(i=1nxi2nμ2)=i=1nxi2nμ2.

Template:Mvar個相等機率值的方差亦可以點對點間的方變量表示為:

Var(X)=1n2i=1nj=1n12(xixj)2.

连续型随机变量

如果随机变量Template:Mvar是連續分布,機率密度函數Template:Math,相應的累积分布函数Template:Math,則其方差為:

Var(X)=σ2=(xμ)2f(x)dx=x2f(x)dx2μxf(x)dx+μ2f(x)dx=x2dF(x)2μxdF(x)+μ2dF(x)=x2dF(x)2μμ+μ21=x2dF(x)μ2,

或等價地:

Var(X)=x2f(x)dxμ2,

其中μX的期望值,其計算方法如下:

μ=xf(x)dx=xdF(x).

這些公式中,dxdF(x)的積分分別為勒貝格積分Template:Tsl

若函數x2f(x)在每個有限區間[a,b]都是黎曼可積的,則:

Var(X)=+x2f(x)dxμ2,

該積分為非正常黎曼积分

常见概率分布

下表列出了一些常用概率分布的方差。

概率分布类型 概率分布函数 均值 方差
二項式分布 Pr(X=k)=(nk)pk(1p)nk np np(1p)
幾何分佈 Pr(X=k)=(1p)k1p 1p (1p)p2
正态分布 f(xμ,σ2)=12πσ2e(xμ)22σ2 μ σ2
連續型均勻分布 f(xa,b)={1bafor axb,0for x<a or x>b a+b2 (ba)212
指数分布 f(xλ)=λeλx 1λ 1λ2
卜瓦松分布 f(kλ)=eλλkk! λ λ

特性

方差不會是負的,因為平方運算結果為非負數:

Var(X)0

一個常數隨機變數的方差為零。反之,若有限個數組成的資料集方差為零,則其內所有數皆相等。對於一般隨機變數,也有類似結論,即方差為零推出該變數幾乎總是取同一個值:

P(X=a)=1Var(X)=0

方差不變於定位參數的變動。也就是說,如果一個常數被加至一個數列中的所有變數值,此數列的方差不會改變:

Var(X+a)=Var(X).

如果所有數值被放大一個常數倍,方差會放大此常數的平方倍:

Var(aX)=a2Var(X)

兩個隨機變數合的方差為:

Var(aX+bY)=a2Var(X)+b2Var(Y)+2abCov(X,Y),
Var(XY)=Var(X)+Var(Y)2Cov(X,Y),

此處Template:Math代表共變異數

對於N個隨機變數{X1,,XN}的總和:

Var(i=1NXi)=i,j=1NCov(Xi,Xj)=i=1NVar(Xi)+ijCov(Xi,Xj)

在样本空间Ω上存在有限期望和方差的随机变量构成一个希尔伯特空间Template:Math,不过这裡的内积和长度跟协方差,标准差还是不大一样。所以,我们得把这个空间“除”常变量构成的子空间,也就是说把相差一个常数的所有原来那个空间的随机变量做成一个等价类。这还是一个新的无穷维线性空间,并且有一个从旧空间内积诱导出来的新内积,而这个内积就是协方差。

总体方差和样本方差

总体方差

一般而言,一个有限的容量为Template:Mvar、元素的值为Template:Mvar总体总体方差为:

σ2=1Ni=1N(xiμ)2=1Ni=1N(xi22μxi+μ2)=(1Ni=1Nxi2)2μ(1Ni=1Nxi)+μ2=(1Ni=1Nxi2)μ2

其中总体均值为:

μ=1Ni=1Nxi.

总体方差也可用下式计算:

σ2=1N2i<j(xixj)2=12N2i,j=1N(xixj)2.

该式成立,是因为:

12N2i,j=1N(xixj)2=12N2i,j=1N(xi22xixj+xj2)=12Nj=1N(1Ni=1Nxi2)(1Ni=1Nxi)(1Nj=1Nxj)+12Ni=1N(1Nj=1Nxj2)=12(σ2+μ2)μ2+12(σ2+μ2)=σ2

总体方差与生成该总体的概率分布的方差相匹配。因此,“总体”的概念可推广到具有无限总体的连续随机变量。

样本方差

有偏样本方差

在许多实际情况下,总体的真实方差无法事先知道,必须以某种方式计算出来。在面对非常大的总体时,不可能计算总体中的每一个元素,因此必须从总体中抽取样本进行计算。[4]样本方差还可以应用于用连续分布的样本来估计该分布的方差。

下面我们从总体中有放回抽取Template:Mvar个数值Template:Math,其中Template:Math,并用该样本来估计总体的方差。[5]直接使用样本数据的方差,得到的是Template:Tsl的均值:

σY2=1ni=1n(YiY)2=(1ni=1nYi2)Y2=1n2i,j:i<j(YiYj)2.

此处,Y表示Template:Tsl

Y=1ni=1nYi.

由于Template:Mvar是随机选取的,YσY2都是随机变量。它们的期望值可以用从总体中抽取的所有可能的容量为Template:MvarTemplate:Math的样本集合来估计。对于σY2即为:

E[σY2]=E[1ni=1n(Yi1nj=1nYj)2]=1ni=1nE[Yi22nYij=1nYj+1n2j=1nYjk=1nYk]=1ni=1n(n2nE[Yi2]2njiE[YiYj]+1n2j=1nkjnE[YjYk]+1n2j=1nE[Yj2])=1ni=1n[n2n(σ2+μ2)2n(n1)μ2+1n2n(n1)μ2+1n(σ2+μ2)]=n1nσ2.

因此,σY2给出的是总体方差的有偏估计量,偏差为n1n。因此,σY2称为有偏样本方差

无偏样本方差

将偏差纠正后,可得到无偏样本方差,记为s2

s2=nn1σY2=nn1[1ni=1n(YiY)2]=1n1i=1n(YiY)2

当语境明确时,两个估计量都可以简称为“样本方差”。同样的证明也适用于取自连续概率分布的样本。

其中,对Template:Math的使用称为Template:Tsl,它也用于Template:Tsl样本标准差(方差的平方根)。平方根是一个凹函数,因此会引入负偏差(根据簡森不等式),具体取决于分布,因此校正的样本标准差(使用贝塞尔校正)是有偏的。Template:Tsl是一个技术上复杂的问题,不过对于正态分布,使用Template:Math能得到几乎无偏的估计值。

无偏样本方差是函数Template:MathU-统计量

一般化

如果Template:Mvar是一个向量其取值范围在實數空间Template:Mvar,并且其每个元素都是一个一维随机变量,我们就把Template:Mvar称为随机向量。随机向量的方差是一维随机变量方差的自然推广,其定义为Template:Math,其中Template:MathTemplate:MathTemplate:Mvar的转置。这个方差是一个非负定方阵,通常称为协方差矩阵

如果Template:Mvar是一个複數随机变量的向量(向量中每個元素均為複數的隨機變數),那么其方差定义则为Template:Math,其中Template:MathTemplate:Mvar共轭转置向量或稱為埃尔米特向量。根据这个定义,變異數为实数。

历史

方差」(variance)这个名词率先由羅納德·費雪Template:Lang-en)在论文《Template:Lang[6]中提出。

后来方差逐渐衍生出了「半方差」(semivariance)、「亚方差」(hypo variance)、「超方差」(super variance)、「Template:Link-en」(circular variance)与「倒方差」(inverse variance)等概念。

半方差

半方差的計算方式與方差類似,但是只包括了低於均值的觀測值:

Semivariance=1ni:xi<μ(xiμ)2

半方差在不同应用领域也被用作特殊的量度。对于偏态分布,半方差能提供方差所不能提供的额外信息。[7]

参见

方差类型

参考文献

Template:Reflist

Template:- Template:概率分布理论 Template:统计学

Template:Authority control

  1. Template:Cite web
  2. Template:Cite web
  3. Template:Cite book
  4. Navidi, William (2006) Statistics for Engineers and Scientists, McGraw-Hill, pg 14.
  5. Montgomery, D. C. and Runger, G. C. (1994) Applied statistics and probability for engineers, page 201. John Wiley & Sons New York
  6. Ronald Fisher(1918)The correlation between relatives on the supposition of Mendelian Inheritance Template:Wayback
  7. Template:Cite web