正交变换

Template:NoteTA 在線性代數中，正交轉換是線性轉換的一種。如果对于任意向量$𝐮$和$𝐯$其內積等於正交轉換後之向量$T(𝐮)$和$T(𝐯)$之內積，则称之为正交变换。

$⟨𝐮,𝐯⟩=⟨T(𝐮),T(𝐯)⟩$

按照长度的定义，可知正交轉換後的向量長度與轉換前的長度相同。

$\Vert T(𝐱)\Vert =\Vert 𝐱\Vert$

其中$\Vert 𝐱\Vert$在空間$R^n$內，$n$表示維度。

$⟨𝐮,𝐯⟩=⟨T(𝐮),T(𝐯)⟩={\sum }_{n=0}^{N-1}u[n]v[n]{\displaystyle }$

其中$N$為向量長度，$u[n]$和$v[n]$分別為$𝐮$和$𝐯$之元素，正交變換不會影響轉換前後向量間的夾角和內積長度。

在矩陣表示形式上，如果$T(𝐱)=𝐀𝐱$為正交變換，則為$𝐀$正交矩陣，對於正交變換之正交矩陣$𝐀$，其每個列互為正交，令$𝐀$為$M\times N$之矩陣，取兩個不相同的列${\varphi }_k$和${\varphi }_h$ ($k\ne h$)遵守下列關係。

$⟨{\varphi }_k,{\varphi }_h⟩=0$

性質

1. 正交變換$T$不會改變向量間的正交性，如果$𝐮$和$𝐯$正交，則$T(𝐮)$和$T(𝐯)$亦為正交。

$Proof:$

根據畢氏定理，正交變換後的向量會符合下式：

$\Vert T(𝐮)+T(𝐯){\Vert }^2=\Vert T(𝐮){\Vert }^2+\Vert T(𝐯){\Vert }^2$

因為正交變換屬於線性轉換：

$\Vert T(𝐮)+T(𝐯){\Vert }^2=\Vert T(𝐮+𝐯){\Vert }^2$

正交變換前後向量的長度相同：

$\Vert T(𝐮)+T(𝐯){\Vert }^2=\Vert 𝐮+𝐯{\Vert }^2$

再根據畢氏定理，且和正交：

$\Vert 𝐮+𝐯{\Vert }^2=\Vert 𝐮{\Vert }^2+\Vert 𝐯{\Vert }^2$

再根據正交變換的性質，正交變換前後向量的長度相同：

$\Vert 𝐮{\Vert }^2+\Vert 𝐯{\Vert }^2=\Vert T(𝐮){\Vert }^2+\Vert T(𝐯){\Vert }^2$

2. 如果$𝐀$和$𝐁$皆為正交矩陣，則$𝐀𝐁$亦為正交矩陣。

$Proof:$

令一正交變換為：

$T(𝐱)=𝐀𝐁𝐱$

正交變換後長度不變：

$\Vert T(𝐱)\Vert =\Vert 𝐀𝐁𝐱\Vert =\Vert 𝐀\mathbf{(}𝐁𝐱\mathbf{)}\Vert =\Vert 𝐁𝐱\Vert =\Vert 𝐱\Vert$

3. 如果$𝐀$為正交矩陣，$𝐀$的反矩陣${𝐀}^{-1}$亦為正交矩陣。

$Proof:$

令一正交變換為：

$T(𝐱)=𝐀𝐱$

單位矩陣$𝐈$和$𝐱$相乘為$𝐱$自己，且矩陣和反矩陣相乘為單位矩陣：

$𝐈𝐱=𝐀{𝐀}^{\mathbf{-}\mathrm{𝟏}}𝐱=𝐱$

正交變換後長度不變：

$\Vert 𝐀{𝐀}^{\mathbf{-}\mathrm{𝟏}}𝐱\Vert =\Vert 𝐀\mathbf{(}{𝐀}^{\mathbf{-}\mathrm{𝟏}}𝐱\mathbf{)}\Vert =\Vert 𝐱\Vert$

4. 正交變換容易做反運算

$Proof:$

令ㄧ正交矩陣$𝐀$，$𝐀$和${𝐀}^H$相乘為一對角矩陣$𝐃$，其中上標$H$表示Hermitain運算。

$𝐀{𝐀}^H=𝐃$

將$𝐃$乘上自己的反矩陣${𝐃}^{-1}$可得一單為矩陣$𝐈$。

$𝐃{𝐃}^{-1}=𝐈$

又$𝐃$可分解為$𝐀$和${𝐀}^H$

$𝐀{𝐀}^H{𝐃}^{-1}=𝐈$

根據上式，將兩側乘上$𝐀$的反矩陣${𝐀}^{-1}$即可得知的反矩陣知公式。

${𝐀}^{-1}={𝐀}^H{𝐃}^{-1}$

計算$𝐃$的反矩陣${𝐃}^{-1}$比直接求反矩陣容易，只要相對角線之值做倒數即可。如果${𝐀}^T$的每一行皆為單位向量，則：

${𝐀}^{-1}={𝐀}^H$

5. 對於正交變換$T$，如果$𝐮$和$𝐯$可以做內積，$T(𝐮)$和$T(𝐯)$做內積之值等於$𝐮$和$𝐯$做內積之值。

$Proof:$

根據極化恆等式：

$⟨𝐱,𝐲⟩=\frac{1}{4}(\Vert 𝐱+𝐲{\Vert }^2-\Vert 𝐱-𝐲{\Vert }^2)$

將上式代入$T(𝐮)$和$T(𝐯)$：

$⟨T(𝐮),T(𝐯)⟩=\frac{1}{4}(\Vert T(𝐮)+T(𝐯){\Vert }^2-\Vert T(𝐮)-T(𝐯){\Vert }^2)$

因為$T$為線性轉換，轉換前做加減法和轉換後做加減法之值應相同：

$⟨T(𝐮),T(𝐯)⟩=\frac{1}{4}(\Vert T(𝐮+𝐯){\Vert }^2-\Vert T(𝐮-𝐯){\Vert }^2)$

正交變換前後向量的長度相同：

$⟨T(𝐮),T(𝐯)⟩=\frac{1}{4}(\Vert 𝐮+𝐯{\Vert }^2-\Vert 𝐮-𝐯{\Vert }^2)$

再根代入$𝐮$和$𝐯$之據極化恆等式：

$⟨T(𝐮),T(𝐯)⟩=⟨𝐮,𝐯⟩$

範例和應用

正交變換的種類非常的廣，像是discrete Fourier transform、discrete cosine, sine, Hartley transforms、Walsh Transform, Haar Transform等都屬於正交變換。對矩陣做旋轉或是鏡射也屬於正交變換。這裡會舉出一些簡單的正交變換例子。

1. 對於$reflec{t}_V()$以subspace $V$為基準做鏡射($V$ in $R^n$)，令${𝐱}^{\parallel }$為平行之向量，${𝐱}^{\perp }$為正交之向量：

$\Vert reflec{t}_V(𝐱){\Vert }^2=\Vert {𝐱}^{\parallel }-{𝐱}^{\perp }{\Vert }^2$

因為${𝐱}^{\parallel }$和${𝐱}^{\perp }$互為正交，可以根據畢氏定理做分解：

$\Vert reflec{t}_V(𝐱){\Vert }^2=\Vert {𝐱}^{\parallel }{\Vert }^2+\Vert -{𝐱}^{\perp }{\Vert }^2=\Vert {𝐱}^{\parallel }{\Vert }^2+\Vert {𝐱}^{\perp }{\Vert }^2=\Vert 𝐱{\Vert }^2$

2. 這裡以DFT為例證明DFT矩陣為正交矩陣，對於$N$點DFT，可得一個$N\times N$矩陣，且${\omega }^n=e^{j2\pi n/N}$：

$𝐖=\frac{1}{\sqrt{N}}\left[\begin{array}{ccccc}1& 1& 1& \cdots & 1\\ 1& \omega & {\omega }^2& \cdots & {\omega }^{N-1}\\ 1& {\omega }^2& {\omega }^4& \cdots & {\omega }^{2(N-1)}\\ \cdots & \cdots & \cdots & \cdots & \cdots \\ 1& {\omega }^{N-1}& {\omega }^{2(N-1)}& \cdots & {\omega }^{(N-1)(N-1)}\end{array}\right]$

$𝐖$為symmetric矩陣，令的$𝐖$每個列為：

${𝐰}_n=\left[\begin{array}{ccccc}1& {\omega }^n& {\omega }^{2}n& \cdots & {\omega }^{(N-1)n}\end{array}\right]$

令任意二列做內積：

$⟨{𝐰}_m,{𝐰}_n⟩={𝐰}_m\cdot {𝐰}_n^H=\frac{1}{N}{\sum }_{k=0}^{N-1}{e}^{j2\pi km/N}{e}^{-j2\pi kn/N}=\frac{1}{N}{\sum }_{k=0}^{N-1}{e}^{j(2\pi km/N)(m-n)}{\displaystyle }$

上式可以化成pulse function，只有列和自己做內積才為$1$，即：

$⟨{𝐰}_m,{𝐰}_n⟩=\{\begin{array}{cc}1,& \text{if }m=n\\ 0,& \text{if }m\ne n\end{array}$

3. 正交變換可以參數計算變得容易，令${\varphi }_n$為正交矩陣的列，列彼此互相正交，$c_n$而為${\varphi }_n$對應之參數，即給定下式中的$y$和${\varphi }_n$，參數$c_n$之值可以很容易的計算出來。

$y={\sum }_{n=0}^{N-1}{c}_n{\varphi }_n{\displaystyle }$

如果要求出$c_m$，則將上式與${\varphi }_m$做內積：

$⟨y,{\varphi }_m⟩={\sum }_{n=0}^{N-1}{c}_n⟨{\varphi }_n,{\varphi }_m⟩{\displaystyle }$

因為在$n\ne m$時，${\varphi }_n$和${\varphi }_m$做內積為0，可得下式：

$⟨y,{\varphi }_m⟩=c_m⟨{\varphi }_m,{\varphi }_m⟩$

最後同除$⟨{\varphi }_m,{\varphi }_m⟩$即可得到對應之參數：

$c_m=\frac{⟨y,{\varphi }_m⟩}{⟨{\varphi }_m,{\varphi }_m⟩}$

4. 在訊號壓縮上，對於原始訊號：

$y={\sum }_{n=0}^{N-1}{c}_n{\varphi }_n{\displaystyle }$

假設進行壓縮，要壓縮成：

$\hat{y}={\sum }_{n=0}^{K-1}{c}_n{\varphi }_n{\displaystyle }$

當$K\le N$時，$K$越大，$|y-\hat{y}|$越小

5. 在通訊應用上，會利用正交基來和訊號做調變，正交的特性會使通道間不會互相干擾。

参见

• 瑕旋转
• 内积空间
• 线性变换
• 正交矩阵
• 酉变换

参考文献

Template:Reflist3. Ding, J. J. (2017). Advanced Digital Signal Processing [Powerpoint slides] -{R|http://djj.ee.ntu.edu.tw/ADSP15.pdf}- Template:Wayback

4. Chang, C.H. (2004). Linear Algebra [PDF slides] -{R|http://staff.csie.ncu.edu.tw/chia/Course/LinearAlgebra/sec5-3.pdf}- Template:Wayback

5. (2007). [PDF slides] -{R|http://isites.harvard.edu/fs/docs/icb.topic138287.files/Lesson15_-_Orthogonal_Transformations_and_Orthogonal_Matrices_slides.pdf}-