格拉姆-施密特正交化

Template:NoteTA Template:ScienceNavigation 在线性代数中，如果内积空间上的一组向量能够组成一个子空间，那么这一组向量就称为这个子空间的一个基。Gram－Schmidt正交化提供了一种方法，能够通过这一子空间上的一个基得-{出}-子空间的一个正交基，并可进一步求出对应的标准正交基。

这种正交化方法以Template:En-link和Template:En-link命名，然而比他们更早的拉普拉斯（Laplace）和柯西（Cauchy）已经发现了这一方法。在李群分解中，这种方法被推广为岩泽分解（Iwasawa decomposition）。

在数值计算中，Gram－Schmidt正交化是数值不稳定的，计算中累积的舍入误差会使最终结果的正交性变得很差。因此在实际应用中通常使用豪斯霍尔德变换或Givens旋转进行正交化。可以用于矩阵计算。

记法

• ${𝑽}^n$：维数为n 的内积空间
• $𝒗\in {𝑽}^n$：${𝑽}^n$中的元素，可以是向量、函数，等等
• $⟨{𝒗}_1,{𝒗}_2⟩$：${𝒗}_1$与${𝒗}_2$的内积
• $\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{n}\{{𝒗}_1,{𝒗}_2,\dots ,{𝒗}_n\}$：${𝒗}_1$、${𝒗}_2$……${𝒗}_n$张成的子空间
• ${\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{j}}_{𝒗}𝒖=\frac{⟨𝒖,𝒗⟩}{⟨𝒗,𝒗⟩}𝒗$：$𝒖$在$𝒗$上的投影

基本思想

图1 $𝒗$在${𝑽}^2$上投影，构造${𝑽}^3$上的正交基$\mathit{\beta }$

Gram-Schmidt正交化的基本想法，是利用投影原理在已有正交基的基础上构造一个新的正交基。

设$𝒗\in {𝑽}^{𝒏}$。${𝑽}^k$是${𝑽}^n$上的$k$维子空间，其标准正交基为$\{{\mathit{\eta }}_1,\dots ,{\mathit{\eta }}_k\}$，且$𝒗$不在${𝑽}^k$上。由投影原理知，$𝒗$与其在${𝑽}^k$上的投影${\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{j}}_{{𝑽}^{𝒌}}𝒗$之差

$\mathit{\beta }=𝒗-\sum _{i=1}^k{\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{j}}_{{\mathit{\eta }}_i}𝒗=𝒗-\sum _{i=1}^k⟨𝒗,{\mathit{\eta }}_i⟩{\mathit{\eta }}_i$

是正交于子空间${𝑽}^k$的，亦即$\mathit{\beta }$正交于${𝑽}^k$的正交基${\mathit{\eta }}_i$。因此只要将$\mathit{\beta }$单位化，即

${\mathit{\eta }}_{k+1}=\frac{\mathit{\beta }}{\Vert \mathit{\beta }\Vert }=\frac{\mathit{\beta }}{\sqrt{⟨\mathit{\beta },\mathit{\beta }⟩}}$

那么$\{{\mathit{\eta }}_1,\dots ,{\mathit{\eta }}_k,{\mathit{\eta }}_{k+1}\}$就是${𝑽}^k$在$𝒗$上扩展的子空间$\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{n}\{𝒗,{\mathit{\eta }}_1,...,{\mathit{\eta }}_k\}$的标准正交基。

根据上述分析，对于向量组$\{{𝒗}_1,\dots ,{𝒗}_m\}$张成的空间${𝑽}^m$ ($m<n$)，只要从其中一个向量（不妨设为${𝒗}_1$）所张成的一维子空间$\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{n}\{{𝒗}_1\}$开始（注意到${𝒗}_1$就是$\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{n}\{{𝒗}_1\}$的正交基），重复上述扩展构造正交基的过程，就能够得到${𝑽}^n$ 的一组正交基。这就是Gram-Schmidt正交化。

算法

首先需要确定已有基底向量的顺序，不妨设为$\{{𝒗}_1,\dots ,{𝒗}_n\}$。Gram-Schmidt正交化的过程如下：

	${\mathit{\beta }}_1={𝒗}_1,$		${\mathit{\eta }}_1=\frac{{\mathit{\beta }}_1}{\Vert {\mathit{\beta }}_1\Vert }$
	${\mathit{\beta }}_2={𝒗}_2-⟨{𝒗}_2,{\mathit{\eta }}_1⟩{\mathit{\eta }}_1,$		${\mathit{\eta }}_2=\frac{{\mathit{\beta }}_2}{\Vert {\mathit{\beta }}_2\Vert }$
	${\mathit{\beta }}_3={𝒗}_3-⟨{𝒗}_3,{\mathit{\eta }}_1⟩{\mathit{\eta }}_1-⟨{𝒗}_3,{\mathit{\eta }}_2⟩{\mathit{\eta }}_2,$		${\mathit{\eta }}_3=\frac{{\mathit{\beta }}_3}{\Vert {\mathit{\beta }}_3\Vert }$
	$⋮$		$⋮$
	${\mathit{\beta }}_n={𝒗}_n-\sum _{i=1}^{n-1}⟨{𝒗}_n,{\mathit{\eta }}_i⟩{\mathit{\eta }}_i,$		${\mathit{\eta }}_n=\frac{{\mathit{\beta }}_n}{\Vert {\mathit{\beta }}_n\Vert }$

这样就得到$\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{n}\{{𝒗}_1,\dots ,{𝒗}_n\}$上的一组正交基$\{{\mathit{\beta }}_1,\dots ,{\mathit{\beta }}_n\}$，以及相应的标准正交基$\{{\mathit{\eta }}_1,\dots ,{\mathit{\eta }}_n\}$。

例

考察如下欧几里得空间Rⁿ中向量的集合，欧氏空间上内积的定义为<a, b> = b^Ta：

$S=\{{𝒗}_1=\left(\begin{array}{c}3\\ 1\end{array}\right),{𝒗}_2=\left(\begin{array}{c}2\\ 2\end{array}\right)\}.$

下面作Gram－Schmidt正交化，以得到一组正交向量：

${\mathit{\beta }}_1={𝒗}_1=\left(\begin{array}{c}3\\ 1\end{array}\right)$

${\mathit{\beta }}_2={𝒗}_2-{\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{j}}_{{\mathit{\beta }}_1}{𝒗}_2=\left(\begin{array}{c}2\\ 2\end{array}\right)-{\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{j}}_{\left(\begin{array}{c}3\\ 1\end{array}\right)}\left(\begin{array}{c}2\\ 2\end{array}\right)=\left(\begin{array}{c}-2/5\\ 6/5\end{array}\right)$

下面验证向量${\mathit{\beta }}_1$与${\mathit{\beta }}_2$的正交性：

$⟨{\mathit{\beta }}_1,{\mathit{\beta }}_2⟩=⟨\left(\begin{array}{c}3\\ 1\end{array}\right),\left(\begin{array}{c}-2/5\\ 6/5\end{array}\right)⟩=-\frac{6}{5}+\frac{6}{5}=0.$

将这些向量单位化：

${\mathit{\eta }}_1=\frac{1}{\sqrt{10}}\left(\begin{array}{c}3\\ 1\end{array}\right)$

${\mathit{\eta }}_2=\frac{1}{\sqrt{\frac{8}{5}}}\left(\begin{array}{c}-2/5\\ 6/5\end{array}\right)$

于是$\{{\mathit{\eta }}_1,{\mathit{\eta }}_2\}$就是 $\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{n}\{{𝒗}_1,{𝒗}_2\}$ 的一组标准正交基底。

不同的形式

随着内积空间上内积的定义以及构成内积空间的元素的不同，Gram-Schmidt正交化也表现出不同的形式。

例如，在实向量空间上，内积定义为：

$⟨𝒂,𝒃⟩={𝒃}^T𝒂$

在复向量空间上，内积定义为：

$⟨𝒂,𝒃⟩={𝒃}^H𝒂$

函数之间的内积则定义为：

$⟨f(x),g(x)⟩=\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}f(x)g(x)dx$

与之对应，相应的Gram－Schmidt正交化就具有不同的形式。

参见

• 内积空间
• 内积
• 正交
• QR分解

外部链接

• Template:Springer
• Harvey Mudd College Math Tutorial on the Gram-Schmidt algorithm
• Earliest known uses of some of the words of mathematics: G Template:Wayback
• Demos: Gram Schmidt process in plane and Gram Schmidt process in space
• Gram-Schmidt orthogonalization applet Template:Wayback
• NAG Gram–Schmidt orthogonalization of n vectors of order m routine Template:Wayback
• Proof: Raymond Puzio, Keenan Kidwell. "proof of Gram-Schmidt orthogonalization algorithm" (version 8). PlanetMath.org. Template:Wayback