查看“︁物理信息神经网络”︁的源代码

[[File:Physics-informed_nerural_networks.png|thumb|307x307px|用于求解[[纳维-斯托克斯方程]]的物理信息神经网络]]
'''物理信息神经网络'''（{{lang-en|physics-informed neural network}}，简称{{lang|en|PINN}}) 是一种[[通用近似定理|通用函数近似器]]，可以在学习过程中嵌入特定物理定律的信息，这些定律满足给定数据集并以[[偏微分方程]]的形式描述。<ref name=":0">{{Cite arXiv|last1=Raissi|title=Physics Informed Deep Learning (Part I): Data-driven Solutions of Nonlinear Partial Differential Equations|eprint=1711.10561}}</ref>一些生物和工程系统存在数据稀缺性的问题，使得大多先进的机器学习技术在这些情境下缺乏鲁棒性并变得无效，而PINN则能够克服这种缺陷。<ref name=":0" />这一技术将一般物理定律的先验知识以[[正则化 (数学)|正则化]]的方式用于[[人工神经网络|神经网络]]训练以限制解空间的大小，从而提高函数近似的准确度。通过将先验信息嵌入神经网络，不仅增强了可用数据的信息利用，使得算法能够学习到正确的解，并且也能在训练样本数量较少的情况下提升泛化性能。

== 函数近似 ==
大多数控制系统动力学的物理定律都能够以偏微分方程来描述。例如，[[纳维-斯托克斯方程]]（N-S方程）是从控制[[流体力学]]的[[守恒定律]]（即质量、动量和能量守恒）<ref>{{Cite book|last=Batchelor|first=G. K.|title=An introduction to fluid dynamics|date=2000|publisher=Cambridge University Press|location=Cambridge, U.K.|isbn=978-0-521-66396-0|edition=2nd pbk.}}</ref>推导出的一组偏微分方程。满足适当的初值和边界条件的N-S方程可以定量描述特定几何形体中的流动动力学现象。然而N-S方程无法精确求解，通常需使用[[有限差分法|有限差分]]、[[有限元素法|有限元]]、[[有限體積法|有限体积]]等数值方法得到数值解。在此情形下，需要考虑先验假设、线性化、适当的时间和空间离散化等才能求解控制方程。

利用[[深度学习]]求解描述物理现象的偏微分方程现已经成为科学机器学习的一个新领域，得益于神经网络的[[通用近似定理|通用逼近性]]<ref>{{Cite journal |last=Hornik |first=Kurt |last2=Tinchcombe |first2=Maxwell |last3=White |first3=Halbert |date=1989-01-01 |title=Multilayer feedforward networks are universal approximators |url=https://www.sciencedirect.com/science/article/abs/pii/0893608089900208 |journal=Neural Networks |language=en |volume=2 |issue=5 |page=359–366 |doi=10.1016/0893-6080(89)90020-8 |issn=0893-6080 |s2cid=2757547 |access-date=2023-12-08 |archive-date=2024-02-16 |archive-url=https://web.archive.org/web/20240216193014/https://www.sciencedirect.com/science/article/abs/pii/0893608089900208 |dead-url=no }}</ref>和高表达能力。一般而言，只要提供足够的训练数据，深度神经网络就能近似任意高维函数。<ref name=":1">{{Cite journal |last=Arzani |first=Amirhossein |last2=Dawson |first2=Scott T. M. |year=2021 |title=Data-driven cardiovascular flow modelling: examples and opportunities |journal=Journal of the Royal Society Interface |volume=18 |issue=175 |page=20200802 |arxiv=2010.00131 |doi=10.1098/rsif.2020.0802 |pmc=8086862 |pmid=33561376}}</ref>然而，单纯的神经网络并未考虑问题背后的物理特性，它们提供的近似精度仍然严重依赖于问题的几何形状以及初始和边界条件。在没有这些初步信息的情况下，问题的解并不唯一，同时也可能不符合物理实际。与此相对，PINN在神经网络训练过程中利用了物理上的控制方程。换句话说，PINN的设计使其不仅能经过学习以满足给定的训练数据，同时还能满足相应的控制方程。通过这种方式，神经网络可以在缺乏庞大完整数据的情形下进行训练。<ref name=":1" />有时还可能在不知道确切边界条件的情况下找到偏微分方程的解。<ref>{{Cite journal |last=Arzani |first=Amirhossein |last2=Wang |first2=Jian-Xun |last3=D'Souza |first3=Roshan M. |date=2021-06-07 |title=Uncovering near-wall blood flow from sparse data with physics-informed neural networks |journal=Physics of Fluids |volume=33 |issue=7 |page=071905 |arxiv=2104.08249 |bibcode=2021PhFl...33g1905A |doi=10.1063/5.0055600 |s2cid=233289904}}</ref>总体而言，当对问题的物理特性有一定了解并能提供某种形式的训练数据（即使是稀疏和不完整的数据）时，PINN可以用于获得高保真度的最优解。

PINN能够解决各类科学计算问题，是一种用于偏微分方程数值求解的开创性技术。PINN可被视为是传统计算方法（如[[计算流体力学]] ）的无网格替代方案，以及用于模型反演和系统识别的新型数据驱动方法。<ref name="sciencedirect.com">{{Cite journal |last=Raissi |first=Maziar |last2=Perdikaris |first2=Paris |last3=Karniadakis |first3=George Em |date=2019-02-01 |title=Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations |url=https://www.sciencedirect.com/science/article/pii/S0021999118307125 |journal=Journal of Computational Physics |language=en |volume=378 |page=686–707 |bibcode=2019JCoPh.378..686R |doi=10.1016/j.jcp.2018.10.045 |issn=0021-9991 |osti=1595805 |s2cid=57379996 |doi-access=free |access-date=2023-12-08 |archive-date=2023-03-28 |archive-url=https://web.archive.org/web/20230328102112/https://www.sciencedirect.com/science/article/pii/S0021999118307125 |dead-url=no }}</ref>值得注意的是，经过训练的PINN网络可在无需重新训练的情况下在不同分辨率的模拟网格上求解。<ref>{{cite arXiv |last1=Markidis |first1=Stefano |title=Physics-Informed Deep-Learning for Scientific Computing |date=2021-03-11 |class=math.NA |eprint=2103.09655}}</ref>此外，PINN还能利用[[自动微分]]<ref>{{cite arXiv |last1=Baydin |first1=Atilim Gunes |last2=Pearlmutter |first2=Barak A. |last3=Radul |first3=Alexey Andreyevich |last4=Siskind |first4=Jeffrey Mark |title=Automatic differentiation in machine learning: a survey |date=2018-02-05 |class=cs.SC |eprint=1502.05767}}</ref>来计算偏微分方程中所需的导数。

== 建模与计算 ==
一般的非线性偏微分方程可表示为：

<math>u_t + N[u; \lambda]=0, \quad x \in \Omega, \quad t \in[0, T].</math>

其中<math>u(t,x)</math>表示方程的解，<math>N[\cdot; \lambda]</math>表示一个以<math>\lambda</math>的参数的非线性算子，而<math>\Omega</math>则是<math>\mathbb{R}^{D}</math>的一个子集 。这种一般形式的控制方程适用于众多数学物理中问题，例如守恒定律、扩散过程、对流扩散系统以及动力学方程等。对上述方程描述的通用动力系统，假定得到含噪声（不确定性）的测量数据，可将PINN用于解决偏微分方程中的两类问题：数据驱动求解（data-driven solution）与数据驱动发现（data-driven discovery）。

=== 偏微分方程的数据驱动求解 ===
偏微分方程的数据驱动求解<ref name=":0" />用于计算系统的隐藏状态<math>u(t,x)</math>，此时需要给定系统的边界数据、测量数据𝑧以及固定的模型参数𝜆。问题的控制方程为

<math>u_t + N[u]=0, \quad x \in \Omega, \quad t \in[0, T]</math> 。

通过定义残差<math>f(t,x)</math>

<math> f := u_t + N[u]=0,</math>

可以用深度神经网络近似<math>u(t,x)</math>。该网络可使用自动微分技术进行微分。<math>u(t,x)</math>和<math>f(t,x)</math>的参数能通过最小化以下损失函数<math>L_{tot}</math>来学习：

<math>L_{tot} = L_{u} + L_{f}.</math>

其中<math>L_{u} = \Vert u-z\Vert_{\Gamma} </math>是指经PINN求得的解<math>u(t, x)</math>及相应的边界条件和点集<math>\Gamma</math>上的测量数据之间的误差，而<math>\Gamma</math>则表示定义了测量数据和边界条件的点集。<math>L_{f} = \Vert f\Vert_{\Gamma}</math>则是指残差函数的均方误差。其中<math>L_{f}</math>用于鼓励PINN在训练过程中学习由偏微分方程表达的结构信息。

这一方法已用于生成计算高效并内嵌物理信息的[[代理模型]]，应用于物理过程预测、建模预测控制、多物理场和多尺度建模及仿真等。<ref>{{Cite arXiv|last1=Raissi|title=Hidden Fluid Mechanics: A Navier–Stokes Informed Deep Learning Framework for Assimilating Flow Visualization Data|eprint=1808.04327}}</ref>已证明它能收敛至偏微分方程的精确解。<ref>{{Cite arXiv|last1=Doumèche|title=Convergence and error analysis of PINNs|eprint=2305.01240}}</ref>

=== 偏微分方程的数据驱动发现 ===
给定系统中含噪声、不完整的测量数据<math>z</math>，偏微分方程的数据驱动发现<ref name="sciencedirect.com" />是指通过计算发现最符合观察数据的未知状态<math>u(t,x)</math>和模型参数<math>\lambda</math>。问题的控制方程表示为

<math>u_t + N[u; \lambda]=0, \quad x \in \Omega, \quad t \in[0, T].</math>

通过定义<math>f(t,x)</math>

<math> f := u_t + N[u; \lambda]=0,</math>

可使用深度神经网络近似<math>u(t,x)</math>。<math>u(t,x)</math>和<math>f(t,x)</math>的参数以及模型参数<math>\lambda</math>能通过最小化以下损失函数<math>L_{tot}</math>来学习:

<math>L_{tot} = L_{u} + L_{f}.</math>

其中<math>L_{u} = \Vert u-z\Vert_{\Gamma} </math>，<math>u</math>和<math>z</math>分别指稀疏点集<math>\Gamma</math>上的数值解与测量数据，而<math>L_{f} = \Vert f\Vert_{\Gamma}</math>则表示残差函数。损失函数的第二项用于在训练过程中满足偏微分方程所表示的结构化信息。

该策略能够发现由非线性偏微分方程描述的动力模型，构建计算高效且完全可微的代理模型，适用于预测、控制、[[数据同化]]等领域。<ref>{{Cite journal |last=Fu |first=Jinlong |last2=Xiao |first2=Dunhui |last3=Fu |first3=Rui |last4=Li |first4=Chenfeng |last5=Zhu |first5=Chuanhua |last6=Arcucci |first6=Rossella |last7=Navon |first7=Ionel M. |date=February 2023 |title=Physics-data combined machine learning for parametric reduced-order modelling of nonlinear dynamical systems in small-data regimes |journal=Computer Methods in Applied Mechanics and Engineering |volume=404 |page=115771 |bibcode=2023CMAME.404k5771F |doi=10.1016/j.cma.2022.115771 |s2cid=254397985}}</ref><ref>{{Cite journal |last=Raissi |first=Maziar |last2=Yazdani |first2=Alireza |last3=Karniadakis |first3=George Em |date=2020-02-28 |title=Hidden fluid mechanics: Learning velocity and pressure fields from flow visualizations |journal=Science |language=en |volume=367 |issue=6481 |page=1026–1030 |bibcode=2020Sci...367.1026R |doi=10.1126/science.aaw4741 |issn=0036-8075 |pmc=7219083 |pmid=32001523}}</ref><ref>{{cite arXiv |last1=Mishra |first1=Siddhartha |last2=Molinaro |first2=Roberto |title=Estimates on the generalization error of Physics Informed Neural Networks (PINNs) for approximating a class of inverse problems for PDEs |date=2021-04-01 |class=math.NA |eprint=2007.01138}}</ref><ref name="ErrorBounds">{{cite arXiv |last1=Ryck|first1=Tim De |last2=Jagtap|first2=Ameya D.|last3=Mishra |first3=Siddhartha  |title=Error estimates for physics informed neural networks approximating the Navier–Stokes equations |date=2022 |class=math.NA |eprint=2203.09346}}</ref>

== 参考文献 ==
{{reflist}}

[[Category:深度学习]]
[[Category:微分方程]]