查看“︁矩阵微积分”︁的源代码

{{copyedit|time=2019-03-05T18:43:58+00:00}}
{{expert|time=2019-03-05T18:43:58+00:00}}
在[[数学]]中，'''矩阵微积分'''是[[多元微积分]]的一种特殊表达，尤其是在[[矩阵]]空间上进行讨论的时候。它把单个函数对多个变量或者多元函数对单个变量的[[偏导数]]写成向量和矩阵的形式，使其可以被当成一个整体被处理。這使得要在多元函數尋找最大或最小值，又或是要為[[微分方程]]系統尋解的過程大幅簡化。这里我们主要使用[[统计学]]和[[工程学]]中的惯用记法，而[[张量下标记法]]更常用于[[物理学]]中。

== 记法 ==

在本小节中，我们在表示向量和矩阵时，通过用单个变量来表示许多变量的方式，把[[矩阵记法]]的效用发挥到最大。接下来我们用不同字体来区分标量、向量和矩阵。我们使用''M''(''n'',''m'')来表示包含''n''行''m''列的''n×m''[[实数|实]]矩阵的空间。该空间中的一般矩阵用粗体大写字母表示，例如'''A'''，'''X'''，'''Y'''等。而若该矩阵属于''M''(''n'',1)，即[[列向量]]，则用粗体小写字母表示，如'''a'''，'''x'''，'''y'''等。特别地，''M''(1,1)中的元素为标量，用小写斜体字母表示，如''a''，''t''，''x''等。'''X'''<sup>T</sup> 表示矩阵[[转置]]，tr('''X''')表示矩阵的[[迹]]，而 det('''X''')或|'''X'''|表示[[行列式]]。除非专门注明，所有函数都默认属于[[光滑函数]]''C''<sup>1</sup>。 通常字母表前半部分的字母(a, b, c, …)用于表示常量，而后半部分的字母(t, x, y, …)用于表示变量。

== 向量求导 ==

{{Main|向量微积分}}

由于向量可看成仅有一列的矩阵，最简单的矩阵求导为向量求导。

这里的标记方法可以通过如下方式表达大部分[[向量微积分]]：把''n''维向量构成的空间''M''(''n'',1)等同为[[欧氏空间]] '''R'''<sup>''n''</sup>， 标量''M''(1,1)等同于'''R'''。对应的向量微积分的概念在每小节末尾列出。

=== 向量对标量求导 ===

[[向量]]<math>
  \mathbf{y} = \begin{bmatrix}
    y_1 &
    y_2 &
    \cdots &
    y_m
  \end{bmatrix}^\mathsf{T}
</math>关于[[标量 (数学)|标量]] ''x''的导数可以（用[[分子记法]]）写成

:<math>\frac{\partial \mathbf{y}}{\partial x} =
  \begin{bmatrix}
    \frac{\partial y_1}{\partial x}\\
    \frac{\partial y_2}{\partial x}\\
    \vdots\\
    \frac{\partial y_m}{\partial x}\\
  \end{bmatrix} 
</math>

这里的“分子布局记法”一般指，在表示导数向量（或矩阵）时，该导数的行数等于导数表达式<math>\frac{\partial \mathbf{y}}{\partial x}</math>中处于分子部分的参数维度，即<math>\mathbf{y}</math>的维度大小<math>m</math>；若采用分母布局记法，则导数的行数等于导数表达式中处于分母部分的参数维度，即<math>x</math>的维度大小。分子布局记法的结果与分母布局记法的结果互为转置关系。

在[[向量微积分]]中，向量<math>\mathbf{y}</math>关于标量<math>x</math>的导数也被称为向量<math>\mathbf{y}</math>的'''[[切向量]]'''，<math>\frac{\partial \mathbf{y}}{\partial x}</math>。注意这里<math>\mathbf{y}: \mathbb{R} \rightarrow \mathbb{R}^{n}</math>。

'''例子''' 简单的样例包括[[欧式空间]]中的[[速度]]向量，它是[[位移]]向量（看作关于时间的函数）的[[切向量]]。更进一步而言， [[加速度]]是速度的切向量。

=== 标量对向量求导 ===

[[标量 (数学)|标量]]''y''对向量<math>
  \mathbf{x} = \begin{bmatrix}
    x_1 &
    x_2 &
    \cdots &
    x_n
  \end{bmatrix}^\mathsf{T}
</math>的导数可以（用[[分子记法]]）写成 

:<math>\frac{\partial y}{\partial \mathbf{x}} =
  \begin{bmatrix}
    \frac{\partial y}{\partial x_1} &
    \frac{\partial y}{\partial x_2} &
    \cdots &
    \frac{\partial y}{\partial x_n}
  \end{bmatrix} 
</math>

在[[向量微积分]]中，标量''y''在的空间'''R'''<sup>''n''</sup>(其独立坐标是'''x'''的分量)中的[[梯度]]是标量''y''对向量'''x'''的导数的转置。在物理学中，[[电场]]是[[电势]]的负[[梯度]]向量。

标量函数''f''('''x''')对空间向量'''x'''在单位向量'''u'''（在这里表示为列向量）方向上的[[方向导数]]可以用梯度定义： 
:<math>\nabla_{\mathbf{u}}{f}(\mathbf{x}) = \nabla f(\mathbf{x}) \cdot \mathbf{u}</math>
使用刚才定义的标量对向量的导数的记法，我们可以把方向导数写作
<math>\nabla_\mathbf{u} f = \left(\frac{\partial f}{\partial \mathbf{x}}\right)^\top\mathbf{u} </math>
这类记法在证明乘法法则和链式法则的时候非常直观，因为它们与我们熟悉的标量[[导数]]的形式较为相似。

=== 向量对向量求导 ===

前面两种情况可以看作是向量对向量求导在其中一个是一维向量情况下的特例。类似地我们将会发现有关矩阵的求导可被以一种类似的方式化归为向量求导。

[[向量函数]] (分量为函数的向量) <math>
  \mathbf{y} = \begin{bmatrix}
    y_1 &
    y_2 &
    \cdots &
    y_m
  \end{bmatrix}^\mathsf{T}
</math>对输入向量<math>
  \mathbf{x} = \begin{bmatrix}
    x_1 &
    x_2 &
    \cdots &
    x_n
  \end{bmatrix}^\mathsf{T}
</math>的导数，可以（用[[分子记法]]) 写作

:<math>\frac{\partial \mathbf{y}}{\partial \mathbf{x}} =
  \begin{bmatrix}
    \frac{\partial y_1}{\partial x_1} & \frac{\partial y_1}{\partial x_2} & \cdots & \frac{\partial y_1}{\partial x_n}\\
    \frac{\partial y_2}{\partial x_1} & \frac{\partial y_2}{\partial x_2} & \cdots & \frac{\partial y_2}{\partial x_n}\\
    \vdots & \vdots & \ddots & \vdots\\
    \frac{\partial y_m}{\partial x_1} & \frac{\partial y_m}{\partial x_2} & \cdots & \frac{\partial y_m}{\partial x_n}\\
  \end{bmatrix} 
</math>

在[[向量微积分]]中，向量函数'''y'''对分量表示一个空间的向量'''x'''的导数也被称为'''[[前推 (微分)]]'''，或'''[[雅可比矩阵]]'''。

向量函数'''f'''对'''R'''<sup>''n''</sup>空间中向量'''v'''的前推为<math>
  d\,\mathbf{f}(\mathbf{v}) = \frac{\partial \mathbf{f}}{\partial \mathbf{v}} d\,\mathbf{v} 
</math>

== 矩阵求导 ==

有两种类型的矩阵求导可以被写成相同大小的矩阵：矩阵对标量求导和标量对矩阵求导。它们在解决应用数学的许多领域常见的最小化问题中十分有用。类比于向量求导，相应的概念有'''切矩阵'''和'''梯度矩阵'''。

=== 矩阵对标量求导 ===

矩阵函数'''Y'''对标量''x''的导数被称为'''切矩阵'''，(用[[分子记法]])可写成：

:<math>
\frac{\partial \mathbf{Y}}{\partial x} =
\begin{bmatrix}
\frac{\partial y_{11}}{\partial x} & \frac{\partial y_{12}}{\partial x} & \cdots & \frac{\partial y_{1n}}{\partial x}\\
\frac{\partial y_{21}}{\partial x} & \frac{\partial y_{22}}{\partial x} & \cdots & \frac{\partial y_{2n}}{\partial x}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial y_{m1}}{\partial x} & \frac{\partial y_{m2}}{\partial x} & \cdots & \frac{\partial y_{mn}}{\partial x}\\
\end{bmatrix} 
</math>

=== 标量对矩阵求导 ===

定义在元素是独立变量的''p''×''q''矩阵'''X'''上的标量函数''y''对'''X'''的导数可以(用[[分子记法]])写作

:<math>
\frac{\partial y}{\partial \mathbf{X}} =
\begin{bmatrix}
\frac{\partial y}{\partial x_{11}} & \frac{\partial y}{\partial x_{21}} & \cdots & \frac{\partial y}{\partial x_{p1}}\\
\frac{\partial y}{\partial x_{12}} & \frac{\partial y}{\partial x_{22}} & \cdots & \frac{\partial y}{\partial x_{p2}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial y}{\partial x_{1q}} & \frac{\partial y}{\partial x_{2q}} & \cdots & \frac{\partial y}{\partial x_{pq}}\\
\end{bmatrix} 
</math>

定义矩阵上的重要的标量函数包括矩阵的[[迹]]和[[行列式]]。

类比于[[向量微积分]]，这个导数常被写成如下形式：
:<math>
\nabla_\mathbf{X} y(\mathbf{X}) = \frac{\partial y(\mathbf{X})}{\partial \mathbf{X}} </math>
类似地，标量函数''f''('''X''')关于矩阵'''X'''在方向'''Y'''的'''方向导数'''可写成
:<math>\nabla_\mathbf{Y} f = \operatorname{tr} \left(\frac{\partial f}{\partial \mathbf{X}} \mathbf{Y}\right)  </math>

梯度矩阵经常被应用在[[估计理论]]的最小化问题中，比如[[卡尔曼滤波]]算法的[[卡尔曼滤波#推导|推导]]，因此在这些领域中有着重要的地位。

==參考文獻==

* {{cite book|title=Generalized multivariate analysis 
|first1=Kai-Tai |last1=Fang |authorlink1=Kai-Tai Fang|first2=Yao-Ting|last2=Zhang |publisher=Science Press (Beijing) and Springer-Verlag (Berlin)|year=1990|isbn=3540176519|id=9783540176510|ref=harv}}
* {{cite book|last1=Kollo|first1=Tõnu|last2=von Rosen|first2=Dietrich |title=Advanced multivariate statistics with matrices |url=https://archive.org/details/advancedmultivar0000koll|location=Dordrecht |publisher=Springer |year=2005 |isbn=978-1-4020-3418-3 |ref=harv}}
*{{cite book
|last1=Pan
|first1=Jianxin
|last2=Fang
|first2=Kaitai   <!-- In English, inconsistent with other publications --> 
|authorlink2=Kaitai Fang
|title=Growth curve models and statistical diagnostics
|publisher=Science Press
|location=Beijing
|year=2007
|isbn=9780387950532
}}

==延伸閱讀==
{{Refbegin}}
*{{cite book|title=Linear algebra and its applications|date=2007|publisher=Wiley-Interscience|isbn=978-0-471-75156-4|edition=2nd|location=Hoboken, N.J.|chapter=9. Calculus of Vector- and Matrix-Valued Functions|last1=Lax|first1=Peter D.}}
{{Refend}}

==外部連結==

[[Category:矩陣論]]
[[Category:線性代數]]
[[Category:多变量微积分]]