U-统计量

Template:NoteTA U-统计量是统计学中一类特定的、具有对称性的统计量，它在估计理论中扮演重要角色。名称中的“ U”为无偏（unbiased）之意。在初等统计学中，U-统计量与最小方差无偏估计量 (UMVUE) 有密切联系。

U-统计量的一个重要性是，对概率分布来说，其可估计参数的最小方差无偏估计量 是一个U-统计量。 因此通过研究U-统计量的一般性质，可以系统地了解这些估计量的统计学性质。

U-统计量在非参数统计中尤其重要，不少用于估计和统计检验的统计量，在形式上都是U-统计量。U-统计量通常具有良好的渐近正态性，这方便了基于它的统计推断。 近年来，U-统计量在研究复杂的随机过程和随机网络类型数据的随机性质方面，发挥了作用。

目前，统计学家们对U-统计量性质的了解，几乎全都基于Hoeffding发表于1948年的经典论文。在这篇论文里，Hoeffding给出了U-统计量最重要的性质——它的ANOVA分解。

定义

定义 $h(x_1,\dots ,x_r):{ℝ}^r\to ℝ$ 为一个函数，其具有对称性，即交换任意 $x_i,x_j$ 的位置，$h$ 的值保持不变。对随机变量 $X_1,\dots ,X_n$ ，基于 $h$ 的U-统计量定义如下：

$U_n=\frac{1}{(\genfrac{}{}{0ex}{}{n}{r})}\sum _{1\le i_1<\cdots <i_r\le n}h(X_{i_1},\dots ,X_{i_r})$

这里，$h(\cdot )$ 称为U-统计量的核函数（Kernel function），而核函数的维数 $r$ 称为该U-统计量的度（degree）。Template:R

两样本U-统计量

定义 $h(x_1,\dots ,x_r;y_1,\dots ,y_s):{ℝ}^{r+s}\to ℝ$ 为一个函数，其对 $X$ 和 $Y$ 分别具有对称性，即交换任意 $x_{i_1},x_{i_2}$ 的位置或交换任意 $y_{j_1},y_{j_2}$ 的位置，$h$ 的值保持不变（但不能随意交换 $x_i,y_j$ ）。对随机变量 $X_1,\dots ,X_m;Y_1,\dots ,Y_n$ ，基于 $h$ 的两样本U-统计量定义如下：

$U_{m,n}=\frac{1}{(\genfrac{}{}{0ex}{}{m}{r})(\genfrac{}{}{0ex}{}{n}{s})}\sum _{1\le i_1<\cdots <i_r\le m}\sum _{1\le j_1<\cdots <j_s\le n}h(X_1,\dots ,X_r;Y_1,\dots ,Y_s)$

目前在机器学习中，最常见的情形是 $r=s=1$，例如能量距离和最大平均差异（MMD）。

Hoeffding的ANOVA分解定理

定理表述

Hoeffding的ANOVA分解定理是现代U-统计量理论的基础。为表述该定理，定义：$\mu =𝔼[h(X_1,\dots ,X_r)]$。 对所有 $1\le k\le r$ ，定义投影函数：

$a_k(x_1,\dots ,x_k)=𝔼[h(X_1,\dots ,X_r)|X_1=x_1,\dots ,X_k=x_k]-\mu$

然后定义正交化投影函数：

$g_1(x_1)=a_1(x_1)$，$g_2(x_1,x_2)=a_2(x_1,x_2)-g_1(x_1)-g_1(x_2)$，等等，每一个 $g_k$ 都定义为相应的 $a_k$减去之前定义过的所有 $g_1,\dots ,g_{k-1}$，直至最后一个函数 $g_r$：

$g_r(x_1,\dots ,x_r)=a_r(x_1,\dots ,x_r)-\sum _{j=1}^{r-1}\sum _{1\le i_1<\cdots <i_j\le r}{g}_j(x_{i_1},\dots ,x_{i_j})$

Hoeffding的ANOVA分解定理的内容是：

$U_n-\mu ={(\genfrac{}{}{0ex}{}{n}{r})}^{-1}\sum _{k=1}^r(\genfrac{}{}{0ex}{}{n-k}{r-k})\cdot \sum _{1\le i_1<\cdots <i_k\le n}{g}_k(X_{i_1},\dots ,X_{i_k})$

分解项的性质

所有的正交化投影函数 $g_k$ 都满足：

$𝔼[g_k(X_1,\dots ,X_k)|X_1,\dots ,X_{k-1}]=0$

因此，所有的分解项之间是互不相关的Template:R，并且度为 $k$ 的分解项之平均的阶为 $O_p\left(n^{-k/2}\right)$.

在大多数应用中，一个U-统计量的ANOVA分解中最重要的是前一项或前两项。根据分解项的性质，可以得到如下的两项ANOVA分解式：

$U_n-\mu =\frac{r}{n}\sum _{i=1}^n{g}_1(X_i)+\frac{r(r-1)}{n(n-1)}\sum _{1\le i<j\le n}{g}_2(X_i,X_j)+O_p(n^{-3/2})$

定理应用

• U-统计量的渐近正态性是Hoeffding的ANOVA分解定理的简单推论。具体而言，有如下结论：记 ${\xi }_1^2=\mathrm{V}\mathrm{a}\mathrm{r}(g_1(X_1))$ ，则:

$n^{1/2}(U_n-\mu )\stackrel{d}{\to }N(0,r^2{\xi }_1^2)$

同时，分解定理也指出了应该如何正确地一阶逼近U-统计量的方差，和对其进行t-标准化。

• 由该定理出发，在不同强度的假设条件下，可以用一项或两项的Edgeworth展开来高精度地逼近U-统计量的分布。

具体例子

• 度为1的例子：令 $h(x)=x$ ，则U-统计量 $\frac{1}{n}\sum _{i=1}^{n}h(X_i)={\overline{X}}_n$是样本均值。

• 度为2的例子：令 $h(x_1,x_2)=|x_1-x_2|$ ，则U-统计量

$\frac{1}{(\genfrac{}{}{0ex}{}{n}{2})}\sum _{1\le i<j\le n}h(X_i,X_j)$

称为“平均成对偏差”。

• 另一个度为2的例子：令 $h(x_1,x_2)=(x_1-x_2{)}^2/2$ ，则U-统计量有如下变形：

$\frac{1}{(\genfrac{}{}{0ex}{}{n}{2})}\sum _{1\le i<j\le n}h(X_i,X_j)=\sum (X_i-\overline{X}{)}^2/(n-1)$

这正是人们熟知的样本方差 $S_n^2$。

• 度为3的例子：样本偏度定义中的分子项：

$\frac{1}{n}\sum _{i=1}^n(X_i-\overline{X}{)}^3$

展开后可以写成一个U-统计量。

• 在机器学习中，用核函数方法进行一样本或两样本非参数统计检验时，检验统计量是一个能量距离或最大平均差异（MMD），两者均为U-统计量或表达式包含两样本U-统计量。

参见

• V-统计量