奇异值

数学中，特别是泛函分析中，作用于希尔伯特空间X、Y之间的紧算子$T:X\to Y$的奇异值是自伴算子$T^{*}T$（$T^{*}$表示T的伴随）的非负特征值的平方根。

奇异值是非负实数，一般按递减顺序排列（${\sigma }_1(T),{\sigma }_2(T),\dots$）。最大的奇异值${\sigma }_1(T)$等于T的算子范数（见极小-极大定理）。

2维实值错切矩阵M的奇异值分解可视化。首先，可见蓝色的单位圆盘与2个标准基向量；然后，可见M的作用：将圆盘扭曲为椭圆。SVD将M分解为3个简单变换：旋转$V^{*}$、沿旋转轴的缩放Σ及第二次旋转 U。Σ是对角矩阵（本例中是方阵），对角线上包含M的奇异值，代表椭圆半轴长度${\sigma }_1,{\sigma }_2$。

作用于欧氏空间${ℝ}^n$的T的奇异值有简单的几何解释：单位n球在T变换下的像是椭球，其半轴长度是T的奇异值（图中提供了${ℝ}^2$的例子）。

奇异值是正规矩阵A的特征值的绝对值，由谱定理可得A的单位对角化：$A=U\mathrm{\Lambda }{U}^{*}$。因此有$\sqrt{A^{*}A}=\sqrt{U{\mathrm{\Lambda }}^{*}\mathrm{\Lambda }{U}^{*}}=U\left|\mathrm{\Lambda }\right|U^{*}$。

研究的希尔伯特空间算子的大多数范数都是用奇异值定义的。例如，樊𰋀-k-范数是前k个奇异值的和，迹范数是所有奇异值的和，沙滕范数是奇异值的p次幂之和的p次根。注意每种范数都只定义在一类特殊的算子上，因此奇异值有助于算子的分类。

有限维情形，矩阵总可以分解为$𝐔\mathrm{\Sigma }{𝐕}^{\mathbf{*}}$，其中$𝐔$、${𝐕}^{\mathbf{*}}$是酉矩阵，$\mathrm{\Sigma }$是矩形对角矩阵，奇异值在对角线上。这就是奇异值分解。

基本性质

对$A\in {ℂ}^{m\times n}$、$i=1,2,\dots ,\min \{m,n\}$。

应用特征值的最小-最大定理。这里$U:\dim (U)=i$是${ℂ}^n$的i维子空间。

$\begin{array}{cc}{\sigma }_i(A)& =\underset{\dim (U)=n-i+1}{\min }\underset{\underset{\Vert x{\Vert }_2=1}{x\in U}}{\max }{\Vert Ax\Vert }_2.\\ {\sigma }_i(A)& =\underset{\dim (U)=i}{\max }\underset{\underset{\Vert x{\Vert }_2=1}{x\in U}}{\min }{\Vert Ax\Vert }_2.\end{array}$

矩阵转置和共轭不会改变奇异值。

${\sigma }_i(A)={\sigma }_i\left(A^{\mathsf{\text{T}}}\right)={\sigma }_i\left(A^{*}\right).$

对任意酉矩阵$U\in {ℂ}^{m\times m},V\in {ℂ}^{n\times n}$

${\sigma }_i(A)={\sigma }_i(UAV).$

与特征值的关系：

${\sigma }_i^2(A)={\lambda }_i\left(A{A}^{*}\right)={\lambda }_i\left(A^{*}A\right).$

与迹的关系：

$\sum _{i=1}^n{\sigma }_i^2=\text{tr}{A}^{\ast }A$.

若$A^{\mathrm{\top }}A$满秩，则奇异值的积是$\sqrt{\det A^{\mathrm{\top }}A}$。

若$A{A}^{\mathrm{\top }}$满秩，则奇异值的积是$\sqrt{\det A{A}^{\mathrm{\top }}}$。

若A满秩，则奇异值的积是$|\det A|$。

关于奇异值的不等式

另见

子矩阵的奇异值

对$A\in {ℂ}^{m\times n}$，

1. 令B表示删除了某一行或某一列的A。则$${\sigma }_{i+1}(A)\le {\sigma }_i(B)\le {\sigma }_i(A)$$
2. 令B表示删除了某一行和某一列的A。则$${\sigma }_{i+2}(A)\le {\sigma }_i(B)\le {\sigma }_i(A)$$
3. 令B表示A的$(m-k)\times (n-l)$子矩阵，则$${\sigma }_{i+k+l}(A)\le {\sigma }_i(B)\le {\sigma }_i(A)$$

A + B的奇异值

对$A,B\in {ℂ}^{m\times n}$

1. $$\sum _{i=1}^k{\sigma }_i(A+B)\le \sum _{i=1}^k({\sigma }_i(A)+{\sigma }_i(B)),k=\min \{m,n\}$$
2. $${\sigma }_{i+j-1}(A+B)\le {\sigma }_i(A)+{\sigma }_j(B).i,j\in \mathbb{N},i+j-1\le \min \{m,n\}$$

AB的奇异值

对$A,B\in {ℂ}^{n\times n}$

1. $$\begin{array}{cc}\prod _{i=n}^{i=n-k+1}{\sigma }_i(A){\sigma }_i(B)& \le \prod _{i=n}^{i=n-k+1}{\sigma }_i(AB)\\ \prod _{i=1}^k{\sigma }_i(AB)& \le \prod _{i=1}^k{\sigma }_i(A){\sigma }_i(B),\\ \sum _{i=1}^k{\sigma }_i^p(AB)& \le \sum _{i=1}^k{\sigma }_i^p(A){\sigma }_i^p(B),\end{array}$$
2. $${\sigma }_n(A){\sigma }_i(B)\le {\sigma }_i(AB)\le {\sigma }_1(A){\sigma }_i(B)i=1,2,\dots ,n.$$

对$A,B\in {ℂ}^{m\times n}$ $$2{\sigma }_i(A{B}^{*})\le {\sigma }_i(A^{*}A+B^{*}B),i=1,2,\dots ,n.$$

奇异值与特征值

对$A\in {ℂ}^{n\times n}$.

1. 见 $${\lambda }_i(A+A^{*})\le 2{\sigma }_i(A),i=1,2,\dots ,n.$$
2. 假设$|{\lambda }_1(A)|\ge \cdots \ge |{\lambda }_n(A)|$，则对$k=1,2,\dots ,n$：
   1. 外尔定理$$\prod _{i=1}^k|{\lambda }_i(A)|\le \prod _{i=1}^k{\sigma }_i(A).$$
   2. 对$p>0$。$$\sum _{i=1}^k|{\lambda }_i^p(A)|\le \sum _{i=1}^k{\sigma }_i^p(A).$$

历史

奇异值这一概念由埃哈德·施密特（1907）提出，当时称奇异值为“特征值”。“奇异值”的名称由史密斯于1937年首次使用。1957年，Allahverdiev证明了第n个奇异值的如下特征：

${\sigma }_n(T)=\inf \{\Vert T-L\Vert :L\text{的秩}<n\}.$

这种表述使奇异值概念可以推广到巴拿赫空间的算子。 注意还有更一般的s-数（s-number）概念，也包括盖尔范德和柯尔莫哥洛夫宽。

另见

• 条件数
• 庞加莱分离定理
• 舒尔–霍恩定理
• 奇异值分解