典型相关

在统计学中，典型相关分析（Template:Lang-en）是对互协方差矩阵的一种理解。如果我们有两个随机变量向量 X = (X₁, ..., X_n) 和 Y = (Y₁, ..., Y_m) 并且它们是相關的，那么典型相关分析会找出 X_i 和 Y_j 的相互相关最大的线性组合。T·R·Knapp指出“几乎所有常见的参数测试的意义可视为特殊情况的典型相关分析，这是研究两组变量之间关系的一般步骤。” 这个方法在1936年由哈罗德·霍特林首次引入。

给定两个随机向量$X=(x_1,\dots ,x_n{)}^{\prime }$和$Y=(y_1,\dots ,y_m{)}^{\prime }$，我们可以定义互协方差矩阵 ${\mathrm{\Sigma }}_{XY}=\mathrm{cov}(X,Y)$ 为 $n\times m$ 的矩阵，其中 $(i,j)$ 是协方差 $\mathrm{cov}(x_i,y_j)$。实际上，我们可以基于 $X$ 和 $Y$ 的采样数据来估计协方差矩阵。(如从一对数据矩阵)。

典型相关分析求出向量 $a$ 和 $b$ 使得随机变量 $a^{\prime }X$ 和 $b^{\prime }Y$ 的相關性 $\rho =\mathrm{corr}(a^{\prime }X,b^{\prime }Y)$ 最大。随机变量 $U=a^{\prime }X$ 和 $V=b^{\prime }Y$ 是 第一对典型变量。然后寻求一个依然最大化相关但与第一对典型变量不相关的向量；这样就得到了 第二对典型变量。 这个步骤会进行 $\min \{m,n\}$ 次。

计算

推导

设 ${\mathrm{\Sigma }}_{XX}=\mathrm{cov}(X,X)$ 和 ${\mathrm{\Sigma }}_{YY}=\mathrm{cov}(Y,Y)$。需要最大化的参数为

$\rho =\frac{a^{\prime }{\mathrm{\Sigma }}_{XY}b}{\sqrt{a^{\prime }{\mathrm{\Sigma }}_{XX}a}\sqrt{b^{\prime }{\mathrm{\Sigma }}_{YY}b}}.$

第一步是定义一个基变更以及

$c={\mathrm{\Sigma }}_{XX}^{1/2}a,$

$d={\mathrm{\Sigma }}_{YY}^{1/2}b.$

因此我们有

$\rho =\frac{c^{\prime }{\mathrm{\Sigma }}_{XX}^{-1/2}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1/2}d}{\sqrt{c^{\prime }c}\sqrt{d^{\prime }d}}.$

根据柯西-施瓦茨不等式，我们有

$\left(c^{\prime }{\mathrm{\Sigma }}_{XX}^{-1/2}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1/2}\right)d\le {\left(c^{\prime }{\mathrm{\Sigma }}_{XX}^{-1/2}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1/2}{\mathrm{\Sigma }}_{YY}^{-1/2}{\mathrm{\Sigma }}_{YX}{\mathrm{\Sigma }}_{XX}^{-1/2}c\right)}^{1/2}{\left(d^{\prime }d\right)}^{1/2},$

$\rho \le \frac{{\left(c^{\prime }{\mathrm{\Sigma }}_{XX}^{-1/2}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1}{\mathrm{\Sigma }}_{YX}{\mathrm{\Sigma }}_{XX}^{-1/2}c\right)}^{1/2}}{{\left(c^{\prime }c\right)}^{1/2}}.$

如果向量 $d$ 和 ${\mathrm{\Sigma }}_{YY}^{-1/2}{\mathrm{\Sigma }}_{YX}{\mathrm{\Sigma }}_{XX}^{-1/2}c$ 共线，那么上式相等。此外，如果 $c$ 是矩阵 ${\mathrm{\Sigma }}_{XX}^{-1/2}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1}{\mathrm{\Sigma }}_{YX}{\mathrm{\Sigma }}_{XX}^{-1/2}$ (见Rayleigh quotient) 最大特征值对应的特征向量，那么就可以得到相关的最大值。随后的典型变量对可以通过减少特征值的量级来得到。正交性保证了相关矩阵的对称性。

解法

因此解法是：

• $c$ 是 ${\mathrm{\Sigma }}_{XX}^{-1/2}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1}{\mathrm{\Sigma }}_{YX}{\mathrm{\Sigma }}_{XX}^{-1/2}$ 的一个特征向量。
• $d$ 是 ${\mathrm{\Sigma }}_{YY}^{-1/2}{\mathrm{\Sigma }}_{YX}{\mathrm{\Sigma }}_{XX}^{-1/2}c$ 的比例项。

相反地，也有：

• $d$ 是 ${\mathrm{\Sigma }}_{YY}^{-1/2}{\mathrm{\Sigma }}_{YX}{\mathrm{\Sigma }}_{XX}^{-1}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1/2}$ 的一个特征向量。
• $c$ 是 ${\mathrm{\Sigma }}_{XX}^{-1/2}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1/2}d$ 的比例项。

把坐标反过来，我们有

• $a$ 是 ${\mathrm{\Sigma }}_{XX}^{-1}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1}{\mathrm{\Sigma }}_{YX}$ 的一个特征向量。
• $b$ 是 ${\mathrm{\Sigma }}_{YY}^{-1}{\mathrm{\Sigma }}_{YX}{\mathrm{\Sigma }}_{XX}^{-1}{\mathrm{\Sigma }}_{XY}$ 的一个特征向量。
• $a$ 是 ${\mathrm{\Sigma }}_{XX}^{-1}{\mathrm{\Sigma }}_{XY}b$ 的比例项。
• $b$ 是 ${\mathrm{\Sigma }}_{YY}^{-1}{\mathrm{\Sigma }}_{YX}a$ 的比例项。

那么相关变量定义为：

$U=c^{\prime }{\mathrm{\Sigma }}_{XX}^{-1/2}X=a^{\prime }X$

$V=d^{\prime }{\mathrm{\Sigma }}_{YY}^{-1/2}Y=b^{\prime }Y$

实现

典型相关分析可以用一个相关矩阵的奇异值分解来解决。 以下是它在一些语言中的函数

• MATLAB as canoncorr Template:Wayback
• R as cancor Template:Wayback or in FactoMineR Template:Wayback
• SAS as The CANCORR Procedure Template:Wayback
• Scikit-Learn, Python as Cross decomposition Template:Wayback

假设检验

每一行可以用下面的方法检测其重要性。由于相关是排好序的，也就是说行 $i$ 为 0 意味着所有后续的相关都为 0。如果我们在一个样本中有 $p$ 个独立观测，对 $i=1,\dots ,\min \{m,n\}$，${\hat{\rho }}_i$ 是其估计相关。对第 $i$ 行，测试统计为：

${\chi }^2=-(p-1-\frac{1}{2}(m+n+1))\ln \prod _{j=i}^{\min \{m,n\}}(1-{\hat{\rho }}_j^2),$

上面渐近为一个对大 $p$ 有 $(m-i+1)(n-i+1)$ 个自由度的卡方分布。 由于所有从 $\min \{m,n\}$ 到 $p$ 的相关从逻辑上来说都是 0，所以在这一点之后的乘积都是不相关的。

参见

• Generalized Canonical Correlation
• Multilinear subspace learning
• RV coefficient
• Principal angles
• 主成分分析
• Regularized canonical correlation analysis
• 奇异值分解
• Partial least squares regression

外部链接

• Template:Cite journal
• A note on the ordinal canonical-correlation analysis of two sets of ranking scores Template:Wayback (Also provides a FORTRAN program)- in J. of Quantitative Economics 7(2), 2009, pp. 173-199
• Representation-Constrained Canonical Correlation Analysis: A Hybridization of Canonical Correlation and Principal Component Analyses (Also provides a FORTRAN program)- in J. of Applied Economic Sciences 4(1), 2009, pp. 115-124