神经微分方程

神经微分方程（Template:Lang-en）是机器学习中的一种微分方程，其方程右侧项由人工神经网络的权重$\theta$参数化。神经常微分方程（Template:Lang，简称Template:Lang）是最常见的神经微分方程，可写作如下形式：

$\frac{\mathrm{d}𝐡(t)}{\mathrm{d}t}=f_{\theta }(𝐡(t),t).$

在经典的神经网络中，各层是按自然数排序的。而在神经ODE中，各层形成一个由正实数排序的连续体。具体来说，函数$h:{ℝ}_{\ge 0}\to ℝ$将每个正序号t映射为一个实数值，表示神经网络在该层的状态。

神经ODE可以理解为连续时间控制系统，其数据插值能力可以用可控制性来解释。

与残差神经网络的关联

神经ODE可以被视为一种具有连续层而非离散层的残差神经网络。将单位时间步长的欧拉方法应用于神经ODE，会得到残差神经网络的前向传播公式：

${𝐡}_{\ell +1}=f_{\theta }({𝐡}_{\ell },\ell )+{𝐡}_{\ell },$

其中$\ell$表示该残差神经网络的第$\ell$层。在残差神经网络中，前向传播是通过逐层应用一系列变换来实现的，而神经ODE的前向传播则是由求解微分方程来完成的。具体而言，给定神经ODE的输入${𝐡}_{\text{in}}$，对应的输出${𝐡}_{\text{out}}$可以通过求解以下初值问题得到：

$\frac{\mathrm{d}𝐡(t)}{\mathrm{d}t}=f_{\theta }(𝐡(t),t),𝐡(0)={𝐡}_{\text{in}},$

而$t=T$时的解$𝐡(T)$即为输出${𝐡}_{\text{out}}$。

通用微分方程

在已知某些物理信息的情况下，可以将神经ODE与已有的第一性原理模型相结合，构建一个被称为通用微分方程（Template:Lang，简称Template:Lang）的物理信息神经网络模型。例如，洛特卡-沃尔泰拉模型的UDE版本可写成以下形式：

$\begin{array}{cc}\frac{dx}{dt}& =\alpha x-\beta xy+f_{\theta }(x(t),y(t)),\\ \frac{dy}{dt}& =-\gamma y+\delta xy+g_{\theta }(x(t),y(t)),\end{array}$

其中$f_{\theta }$和$g_{\theta }$是神经网络参数化的修正项。

参见

• 物理信息神经网络