查看“︁格拉姆-施密特正交化”︁的源代码

{{noteTA|G1=Math}}
{{线性代数}}
在[[线性代数]]中，如果[[内积空间]]上的一组向量能够组成一个[[线性子空间|子空间]]，那么这一组向量就称为这个子空间的一个基。'''Gram－Schmidt正交化'''提供了一种方法，能够通过这一子空间上的一个基得-{出}-子空间的一个[[正交基]]，并可进一步求出对应的[[标准正交基]]。

这种正交化方法以{{en-link|约尔根·佩德森·格拉姆|Jørgen Pedersen Gram}}和{{en-link|艾哈德·施密特|Erhard Schmidt}}命名，然而比他们更早的[[拉普拉斯]]（Laplace）和[[柯西]]（Cauchy）已经发现了这一方法。在[[李群分解]]中，这种方法被推广为[[岩泽分解]]（Iwasawa decomposition）。

在[[数值计算]]中，Gram－Schmidt正交化是[[数值稳定性|数值不稳定]]的，计算中累积的舍入误差会使最终结果的正交性变得很差。因此在实际应用中通常使用[[豪斯霍尔德变换]]或[[Givens旋转]]进行正交化。可以用于矩阵计算。

== 记法 ==
* <math>\boldsymbol{V}^n</math>：[[维数]]为''n'' 的内积空间
* <math>\boldsymbol{v} \in \boldsymbol{V}^n</math>：<math>\boldsymbol{V}^n</math>中的元素，可以是向量、[[函数]]，等等
* <math>\langle \boldsymbol{v}_1, \boldsymbol{v}_2 \rangle</math>：<math>\boldsymbol{v}_1</math>'''与<math>\boldsymbol{v}_2</math>的[[内积]]
* <math>\mathrm{span} \{ \boldsymbol{v}_1,\boldsymbol{v}_2,\ldots , \boldsymbol{v}_n \}</math>：<math>\boldsymbol{v}_1</math>、<math>\boldsymbol{v}_2</math>……<math>\boldsymbol{v}_n</math>张成的[[子空间]]
* <math>\mathrm{proj}_{\boldsymbol{v}}\,\boldsymbol{u} = {\langle \boldsymbol{u}, \boldsymbol{v}\rangle\over\langle \boldsymbol{v}, \boldsymbol{v}\rangle}\boldsymbol{v}</math>：<math>\boldsymbol{u}</math>在<math>\boldsymbol{v}</math>上的[[投影 (线性代数)|投影]]

== 基本思想 ==
[[File:GSO.png|thumb|right|300px|图1 <math>\boldsymbol{v}</math>在<math>\boldsymbol{V}^2</math>上投影，构造<math>\boldsymbol{V}^3</math>上的正交基<math>\boldsymbol{\beta}</math>]]

Gram-Schmidt正交化的基本想法，是利用[[投影原理]]在已有正交基的基础上构造一个新的正交基。

设<math>\boldsymbol{v} \in \boldsymbol{V^n}</math>。<math>\boldsymbol{V}^k</math>是<math>\boldsymbol{V}^n</math>上的<math>k</math>维子空间，其标准正交基为<math>\{ \boldsymbol{\eta}_1,\ldots, \boldsymbol{\eta}_k \}</math>，且<math>\boldsymbol{v}</math>不在<math>\boldsymbol{V}^k</math>上。由投影原理知，<math>\boldsymbol{v}</math>与其在<math>\boldsymbol{V}^k</math>上的投影<math>\mathrm{proj}_{\boldsymbol{V^k}} \boldsymbol{v}</math>之差
:<math>
 \boldsymbol{\beta} 
 = \boldsymbol{v} - \sum_{i=1}^{k}\mathrm{proj}_{\boldsymbol{\eta}_i}\,\boldsymbol{v}
 = \boldsymbol{v} - \sum_{i=1}^{k}\langle \boldsymbol{v}, \boldsymbol{\eta}_i \rangle \boldsymbol{\eta}_i
 </math>


是正交于子空间<math>\boldsymbol{V}^k</math>的，亦即<math>\boldsymbol{\beta}</math>正交于<math>\boldsymbol{V}^k</math>的正交基<math>\boldsymbol{\eta}_i</math>。因此只要将<math>\boldsymbol{\beta}</math>单位化，即

:<math>
\boldsymbol{\eta}_{k+1} 
= \frac{\boldsymbol{\beta}}{\|\boldsymbol{\beta}\|} 
= \frac{\boldsymbol{\beta}}{\sqrt{\langle \boldsymbol{\beta},\boldsymbol{\beta} \rangle }}
</math>

那么<math>\{ \boldsymbol{\eta}_1,\ldots, \boldsymbol{\eta}_{k}, \boldsymbol{\eta}_{k+1} \}</math>就是<math>\boldsymbol{V}^k</math>在<math>\boldsymbol{v}</math>上扩展的子空间<math>\mathrm{span}\{\boldsymbol{v},\boldsymbol{\eta}_1,...,\boldsymbol{\eta}_k\}</math>的标准正交基。

根据上述分析，对于向量组<math>\{ \boldsymbol{v}_1,\ldots, \boldsymbol{v}_{m} \}</math>张成的空间<math>\boldsymbol{V}^m</math> (<math>m<n</math>)，只要从其中一个向量（不妨设为<math> \boldsymbol{v}_1 </math>）所张成的一维子空间<math> \mathrm{span}\{\boldsymbol{v}_1\} </math>开始（注意到<math> \boldsymbol{v}_1 </math>就是<math> \mathrm{span}\{\boldsymbol{v}_1\} </math>的正交基），重复上述扩展构造正交基的过程，就能够得到<math>\boldsymbol{V}^n</math> 的一组正交基。这就是'''Gram-Schmidt正交化'''。

== 算法 ==

首先需要确定已有基底向量的顺序，不妨设为<math>\{ \boldsymbol{v}_1,\ldots, \boldsymbol{v}_{n} \}</math>。Gram-Schmidt正交化的过程如下：

{|
|width="20px"| ||<math>\boldsymbol{\beta}_1 = \boldsymbol{v}_1,</math> 
|width="20px"| ||<math>\boldsymbol{\eta}_1 = {\boldsymbol{\beta}_1 \over \|\boldsymbol{\beta}_1\|}</math>
|-
|| ||<math>\boldsymbol{\beta}_2 
         = \boldsymbol{v}_2-\langle \boldsymbol{v}_2, \boldsymbol{\eta}_1 \rangle \boldsymbol{\eta}_1, </math>
|| ||<math>\boldsymbol{\eta}_2 = {\boldsymbol{\beta}_2 \over \|\boldsymbol{\beta}_2\|}</math>
|-
|| ||<math>\boldsymbol{\beta}_3 
            = \boldsymbol{v}_3 -
              \langle \boldsymbol{v}_3, \boldsymbol{\eta}_1 \rangle \boldsymbol{\eta}_1 -
              \langle \boldsymbol{v}_3, \boldsymbol{\eta}_2 \rangle \boldsymbol{\eta}_2 , 
     </math>
|| ||<math>\boldsymbol{\eta}_3 = {\boldsymbol{\beta}_3 \over \|\boldsymbol{\beta}_3\|}</math>
|-
|| ||align="center"|<math>\vdots</math>
|| ||align="center"|<math>\vdots</math>
|-
|| ||<math>\boldsymbol{\beta}_n = \boldsymbol{v}_n-\sum_{i=1}^{n-1}\langle \boldsymbol{v}_n, \boldsymbol{\eta}_i \rangle \boldsymbol{\eta}_i, </math>
|| ||<math>\boldsymbol{\eta}_n = {\boldsymbol{\beta}_n\over\|\boldsymbol{\beta}_n\|}</math>
|}

这样就得到<math>\mathrm{span}\{ \boldsymbol{v}_1, \ldots , \boldsymbol{v}_n \}</math>上的一组正交基<math>\{ \boldsymbol{\beta}_1, \ldots , \boldsymbol{\beta}_n \}</math>，以及相应的标准正交基<math>\{ \boldsymbol{\eta}_1, \ldots , \boldsymbol{\eta}_n \}</math>。


;例
考察如下[[欧几里得空间]]'''R'''<sup>''n''</sup>中向量的[[集合 (数学)|集合]]，欧氏空间上内积的定义为<'''''a''''', '''''b'''''> = '''''b'''''<sup>''T''</sup>'''''a'''''：
:<math>S = \lbrace\boldsymbol{v}_1=\begin{pmatrix} 3 \\ 1\end{pmatrix}, \boldsymbol{v}_2=\begin{pmatrix}2 \\2\end{pmatrix}\rbrace.</math>

下面作Gram－Schmidt正交化，以得到一组正交向量：
:<math>\boldsymbol{\beta}_1=\boldsymbol{v}_1=\begin{pmatrix}3\\1\end{pmatrix}</math>
:<math>\boldsymbol{\beta}_2=\boldsymbol{v}_2-\mathrm{proj}_{\boldsymbol{\beta}_1}\,\boldsymbol{v}_2=\begin{pmatrix}2\\2\end{pmatrix}-\mathrm{proj}_{\begin{pmatrix}3\\1\end{pmatrix}}\,{\begin{pmatrix}2\\2\end{pmatrix}}=\begin{pmatrix}-2/5\\6/5\end{pmatrix}</math>

下面验证向量<math>\boldsymbol{\beta}_1</math>与<math>\boldsymbol{\beta}_2</math>的正交性：
:<math>\langle\boldsymbol{\beta}_1,\boldsymbol{\beta}_2\rangle = \left\langle \begin{pmatrix}3\\1\end{pmatrix}, \begin{pmatrix}-2/5\\6/5\end{pmatrix} \right\rangle = -\frac65 + \frac65 = 0.</math>

将这些向量单位化：
:<math>\boldsymbol{\eta}_1 = {1 \over \sqrt {10}}\begin{pmatrix}3\\1\end{pmatrix}</math>
:<math>\boldsymbol{\eta}_2 = {1 \over \sqrt {8 \over 5}}\begin{pmatrix}-2/5\\6/5\end{pmatrix}</math>

于是<math>\{ \boldsymbol{\eta}_1, \boldsymbol{\eta}_{2} \}</math>就是 <math>\mathrm{span}\{\boldsymbol{v}_1,\boldsymbol{v}_2 \}</math> 的一组标准正交基底。

== 不同的形式 ==

随着内积空间上内积的定义以及构成内积空间的元素的不同，Gram-Schmidt正交化也表现出不同的形式。

例如，在实向量空间上，内积定义为：
:<math>\langle \boldsymbol{a}, \boldsymbol{b} \rangle = \boldsymbol{b}^T \boldsymbol{a} </math>

在复向量空间上，内积定义为：
:<math>\langle \boldsymbol{a}, \boldsymbol{b} \rangle = \boldsymbol{b}^H \boldsymbol{a} </math>

[[函数]]之间的内积则定义为：
:<math>\langle f(x), g(x) \rangle = \int_{-\infty}^{\infty}f(x)g(x) dx </math>

与之对应，相应的Gram－Schmidt正交化就具有不同的形式。

== 参见 ==
{{Portal|數學}}
* [[内积空间]]
* [[内积]]
* [[正交]]
* [[QR分解]]

== 外部链接 ==
* {{springer|title=Orthogonalization|id=p/o070420}}
* [https://web.archive.org/web/20160402140129/https://www.math.hmc.edu/calculus/tutorials/gramschmidt/gramschmidt.pdf Harvey Mudd College Math Tutorial on the Gram-Schmidt algorithm]
* [http://jeff560.tripod.com/g.html Earliest known uses of some of the words of mathematics: G] {{Wayback|url=http://jeff560.tripod.com/g.html |date=20180726222410 }}
* Demos: [https://web.archive.org/web/20090507102143/http://www.bigsigma.com/en/demo/gram-schmidt-plane Gram Schmidt process in plane] and [https://web.archive.org/web/20090507102222/http://www.bigsigma.com/en/demo/gram-schmidt-space Gram Schmidt process in space]
* [http://www.math.ucla.edu/~tao/resource/general/115a.3.02f/GramSchmidt.html Gram-Schmidt orthogonalization applet] {{Wayback|url=http://www.math.ucla.edu/~tao/resource/general/115a.3.02f/GramSchmidt.html |date=20180806175403 }}
* [http://www.nag.co.uk/numeric/fl/nagdoc_fl24/html/F05/f05conts.html NAG Gram–Schmidt orthogonalization of n vectors of order m routine] {{Wayback|url=http://www.nag.co.uk/numeric/fl/nagdoc_fl24/html/F05/f05conts.html |date=20190502195323 }}
* Proof: [http://planetmath.org/ProofOfGramSchmidtOrthogonalizationProcedure Raymond Puzio, Keenan Kidwell. "proof of Gram-Schmidt orthogonalization algorithm" (version 8). PlanetMath.org.] {{Wayback|url=http://planetmath.org/ProofOfGramSchmidtOrthogonalizationProcedure |date=20180901063556 }}

{{线性代数的相关概念}}
[[Category:線性代數]]
[[Category:泛函分析]]