基于液体的傅里叶潜在动力学网络（Liquid Fourier Latent Dynamics Networks），用于在计算心脏病学领域实现基于GPU的快速数值模拟

《Computers in Biology and Medicine》：Liquid Fourier Latent Dynamics Networks for fast GPU-based numerical simulations in computational cardiology

　　科学机器学习（ML）作为高效替代传统数值解法，被用于构建高精度时空代理模型。本文提出液态傅里叶LDNets（LFLDNets），通过神经动态网络捕捉时序演变，结合傅里叶空间嵌入提升高频函数建模能力，有效解决多尺度、多物理非线性偏微分方程（PDEs/ODEs）问题。在计算心脏病学案例中验证，其训练参数量比传统方法减少90%，时空预测误差降低40%，且可在GPU集群上分钟级完成高分辨率三维模拟。

　　

马泰奥·萨尔瓦多（Matteo Salvador）| 艾莉森·莱斯利·马斯登（Alison Lesley Marsden）

斯坦福大学计算与数学工程研究所，美国加利福尼亚州

摘要

科学机器学习（ML）作为一种成本效益更高的替代方案，在许多工程应用中逐渐取代了基于物理的数值求解器。实际上，科学ML目前被用来从高保真数值模拟中构建准确高效的替代模型，有效地将常微分方程（ODEs）背后的参数化时间动态，甚至是偏微分方程（PDEs）背后的时空行为编码到适当设计的神经网络中。我们提出了对潜在动力学网络（LDNets）的扩展，即液态傅里叶LDNets（LFLDNets），用于在复杂几何形状上创建多尺度和多物理场的高度非线性微分方程的参数化时空替代模型。LFLDNets采用了一种受神经科学启发的稀疏液态神经网络来处理时间动态，从而无需依赖数值求解器进行时间推进，并在可调参数、准确性、效率以及学习到的轨迹方面优于基于前馈全连接神经网络的模型。此外，在我们的LFLDNets实现中，我们使用了带有可调核的傅里叶嵌入技术，以便比直接使用空间坐标更快更好地学习高频函数。我们在计算心脏病学框架下对LFLDNets进行了测试，并评估了它们在两个三维测试案例中的性能，这些测试案例来源于多尺度心脏电生理学和心血管血液动力学。本文展示了在单个或多个GPU上几分钟内运行基于人工智能的数值模拟的能力，标志着物理信息数字化孪生模型发展的一个重要里程碑。

引言

物理信息机器学习（ML），更广泛地说，科学ML，通过战略性地结合物理控制原理、科学计算技术和快速的数据驱动方法，正在许多学科中引发革命，从机械和航空航天工程[2]、[3]到计算医学[4]。最近在算子学习方面的进展，如深度算子网络[6]、[7]、[8]、[9]、傅里叶和图神经算子[10]、[11]、通用神经算子变换器[12]、分支潜在神经映射[13]以及潜在动力学网络（LDNets）[14]，使得可以从高性能计算生成的数值模拟中创建快速准确的替代模型，这些模拟是在对常微分/偏微分方程（ODEs/PDEs）进行数值离散化后得到的。

原则上，这些替代模型能够以相对较小的近似误差再现由微分方程描述的动态系统的时空行为，可能涵盖多个PDE系统和几何变化[15]。[16]然而，它们通常只编码有限的一组模型参数、初始条件和边界条件，并且这些条件是在相对简单的计算域中、采用相当规则的网格进行计算的。

LDNets由Regazzoni等人[14]提出，它定义了一种新的架构，用于创建参数化物理过程的替代模型，例如由微分方程系统产生的模型。LDNets在学习时空系统动态的同时，共同发现了一个低维的非线性流形，避免了在高维空间中的运算。与基于适当正交分解、自编码器和各种类型的循环神经网络的最先进方法相比，LDNets在高度非线性数学问题上实现了更高的准确性，并且可训练的参数数量显著减少[14]。

在本文中，我们提出了LDNets的扩展版本——液态傅里叶LDNets（LFLDNets），这是一种有效的算子学习方法，在可调参数数量、表达能力、可解释性、整体准确性以及训练和推理期间的计算效率方面表现出色。LFLDNets使用简单紧凑的液态神经网络（LNN）而不是前馈全连接神经网络（FCNN）来追踪一组状态的时间动态，捕捉高度非线性参数化多尺度PDE的全局行为。此外，它们使用带有可学习核矩阵的傅里叶嵌入来表示空间坐标，从而使第二个FCNN能够正确捕捉复杂函数，从而重建PDE系统的整个时空动态。

我们在计算心脏病学中的两个具有挑战性的3D患者特定案例中展示了LFLDNets的能力[17]。首先，我们在一个复杂的儿科先天性心脏病模型中构建了心脏电生理学的多尺度替代模型[18]；其次，在健康的儿童主动脉中模拟了心血管血液动力学[19]。这些几何结构使用精细的非结构化四面体网格进行空间离散化；血液动力学案例还包括边界层内的各向异性元素细化。此外，我们证明即使在这些复杂的情况下，由于特定数值离散化方案的约束，LFLDNets允许的时间步长也比基于物理的模拟中常用的时间步长大几个数量级。

这项工作介绍了一种新的科学ML工具——LFLDNets，并在计算医学的两个实际案例中展示了其潜力。在推理过程中，LFLDNets在一台或多台图形处理单元（GPUs）上几分钟内就能产生与3D时空心血管模拟相当的结果，同时涵盖了不同的模型参数、初始条件和边界条件集。这一工具为构建复杂的多尺度和多物理场时空替代模型、创建准确、高效且经过验证的心血管应用数字副本[18]、[20]、[21]、[22]、[23]、[24]、[25]、[26]做出了另一项贡献。

方法部分

方法

在这里，我们介绍了LFLDNets，并强调了它们与LDNets之间的关键区别。我们解释了LNN的工作原理，并讨论了与基于FCNN的神经ODEs相比的优势。我们还展示了为空间坐标添加适当的傅里叶嵌入以更好地学习高频函数的重要性。

然后，我们为心脏电生理学和心血管血液动力学的两个具有挑战性的测试案例提出了数学控制方程和数值公式。

结果

我们使用LFLDNets构建并展示了两个心脏和心血管功能的替代模型，这些模型有效地学习了计算电生理学和流体动力学中出现的多尺度和多物理场PDEs的参数化时空动态。

讨论

我们提出了LFLDNets，这是一种新颖的神经算子，它在关键方面扩展了LDNets[14]的功能，能够创建能够捕捉参数化时变PDEs时空动态的降阶替代模型。我们考虑了计算心脏病学中的两个具有挑战性的3D测试案例，以展示其优势和特点，并评估了其性能。

LFLDNets使用CfC、NCP动态网络来定义表征动态系统的全局状态向量的时间演化

结论

我们提出了LDNets的扩展版本——LFLDNets，以改进和扩展基于PDE的任意物理过程的时空替代模型，在准确性、计算效率、内存需求和模型维度方面进行了优化。这是通过将受神经科学启发的液态动力学网络与空间中的重建网络相结合，并通过傅里叶嵌入来实现的。我们在儿科领域的两个不同测试案例中测试了LFLDNets的性能

CRediT作者贡献声明

马泰奥·萨尔瓦多（Matteo Salvador）：撰写——审阅与编辑、原始草稿撰写、可视化、验证、软件开发、资源准备、方法论设计、数据分析、概念化。艾莉森·莱斯利·马斯登（Alison Lesley Marsden）：撰写——审阅与编辑、原始草稿撰写、项目监督、资金获取。

伦理声明

无

利益冲突声明

作者声明不存在利益冲突。所有作者都了解并同意本文的内容。

致谢

该项目得到了斯坦福大学Vera Moulton Wall中心的Benchmark Capital Fellowship、SimCardio NSF（资助编号：1663671）以及美国国立卫生研究院（NIH）（资助编号：R01HL173845）的资助。我们感谢Luca Pegolotti博士提供了CFD测试案例的数值模拟数据集，并对他的手稿提出了评论。同时，我们也感谢Francesco Regazzoni教授对LFLDNets的反馈。