【摘 要】 地球系统模型 (ESM) 是量化地球物理状态并预测未来可能发生的变化的主要工具。然而，近年来，人工智能 (AI) 方法越来越多地用于增强甚至取代经典的地球系统模型任务，这让人们对人工智能能够解决气候科学的一些重大挑战产生了希望。在此观点中，我们调查了过程模型和 AI 在地球系统和气候研究中的最新成就和局限性，并提出了一种方法论转变，其中深度神经网络和地球系统模型被区分为单独的方法，并重新组合为学习、自我验证和可解释的地球系统模型-神经网络混合体。沿着这条道路，我们创造了术语 神经地球系统建模。我们研究了神经地球系统建模的并发潜力和陷阱，并讨论了人工智能是否可以支持地球系统模型甚至最终使它们过时的悬而未决的问题。

【原 文】 Irrgang, C. et al. (2021) ‘Towards neural Earth system modelling by integrating artificial intelligence in Earth system science’, Nature Machine Intelligence, 3(8), pp. 667–674. Available at: https://doi.org/10.1038/s42256-021-00374-3.

1 引言

几十年来，科学家们一直使用数学方程式来描述地球物理和气候过程，并构建确定性计算机模拟以分析此类过程。直到最近，过程模型一直被认为是不可替代的工具，它帮助我们理解耦合地球系统中的复杂相互作用，并提供了唯一的工具来预测地球系统对人为气候变化的反应。

地球系统模型 (ESM) [1] 将地球系统不同子系统的过程模型组合成一个集成的数值模型，对于时间 tt 的耦合系统的给定状态，可以预测时间 t+1t+1 的系统状态。各个模型组成部分或模块描述了子系统，包括大气、海洋、碳循环和其他生物地球化学循环、辐射过程，以及陆地表面和植被过程以及海洋生态系统。然后，这些模块由动态耦合器组合，以获得每个时间步长的完整系统的一致状态。

包括越来越多的过程，以及不断提高的空间分辨率，导致了综合地球系统模型的发展，以分析和预测地球系统的状态。从 1990 年政府间气候变化专门委员会（IPCC）第一次评估报告到第五阶段气候模式比对项目（CMIP5）[2]和 2014 年 IPCC 第五次评估报告，空间分辨率从 500 公里左右提高到高达 70 公里。相应地，CMIP 结果表明，在 20 年的过程中，模型在重现地球系统关键特征方面的准确性有了很大提高，例如自 20 世纪下半页仪器数据可用以来，全球平均温度的演变，或当今温度或降水的平均空间分布[3][4]。

由于新型人工智能 (AI) 工具的出现，地球系统模型可能会失去其重要性的一些挑衅性想法，在科学界引发了热议和谨慎态度。

  • 一方面，已经开发出深度神经网络，以补充并旨在匹配各种应用中过程模型的能力，从数值天气预报到气候研究。
  • 另一方面，大多数神经网络都是在简化条件下针对孤立应用进行训练的，缺乏真正的过程知识。

无论如何，来自 地球系统观测 (ESO) 的每天不断增加的数据流、不断增加的计算资源以及强大的 AI 工具的可用性和可访问性，导致了许多旨在解决当前地球系统模型长期存在问题的创新性发展。

在下文中，我们调查了过程模型和人工智能在地球和气候研究中的现状、近期成就和公认的局限性。在这项调查的基础上，我们概述了即将发生的方法论转变，以下称为 神经地球系统建模 (NESYM)，旨在将 AI 深入且可解释地集成到地球系统建模中。我们讨论了这种方法的新挑战，并强调了相关社区之间跨学科合作的必要性。

2 地球系统建模和地球系统观测概述

对于地球系统的某些部分，原始物理运动方程是明确已知的，例如描述大气和海洋流体动力学的 Navier-Stokes 方程 (图 [1]）。在实际工作中，不可能对所有相关动力学尺度都进行数值求解，必须进行近似。例如，大气和海洋的流体动力学方程集成在离散空间网格上，所有在网格分辨率下运行的过程，都必须参数化以确保对系统的封闭描述。由于地球物理流体动力学的多尺度性质意味着亚网格尺度过程与模型解析的更大尺度相互作用，亚网格尺度过程的（随机）参数化是气候模型非常重要且不可避免的一部分[5][6][7]。

图1

图 1：地球系统组件从知识集群角度的符号表示。 箭头指示集群之间在地球物理过程和耦合机制方面的信息交换（示例性的）。机器学习可以根据集群应用接管不同的任务。例如： 在过程知识匮乏的情况下进行数据探索和分析（绿色集群）； 通过改进过程模型中不充分的参数化和其他简化来增强地球系统模型（蓝色集群）； 仿真和加速众所周知的基于过程的模拟（橙色集群）； 应用于耦合机制和交互过程（箭头），利用相邻的集群作为训练数据池。

对于地球系统的其他部分，原始运动方程（例如 navier-stokes 方程）并不存在。从本质上讲，这源于地球系统的复杂性，其中许多在宏观层面出现的现象，不容易从微观尺度推断出来，此现象可能会或可能不会被很好地理解。一个典型的例子是生态系统和控制大部分陆表植被覆盖的生理过程，以及它们与大气、碳循环和其他地球化学循环的相互作用。对于这些情况，必须根据潜在关键过程的参数化进行近似。

Kirkwood 2020 年的 《地统计学中的贝叶斯深度学习》: 地球科学家越来越多地处理“大数据”。对于涉及空间建模和制图的应用程序，克里金法的变体——南非采矿工程师 Danie Krige 开发的空间插值技术——长期以来一直被视为成熟的地统计方法。然而，克里金法及其变体（例如回归克里金法，其中辅助变量或这些变量的导数作为协变量包含在内）是相对受限的模型，并且缺乏深度神经网络在过去十年左右为我们提供的功能。其中最主要的是特征学习：学习过滤器以识别网格数据（例如图像）中特定于任务的模式的能力。在这里，我们通过展示深度神经网络如何自动学习点采样目标变量和网格化辅助变量（例如遥感提供的辅助变量）之间的复杂关系，展示了地统计学背景下特征学习的力量，并在此过程中产生所选目标变量的详细地图。同时，为了满足需要良好校准概率的决策者的需求，我们展示了如何通过称为蒙特卡洛丢失的贝叶斯近似从深度神经网络获得任意和认知不确定性估计。在我们的示例中，我们根据点采样观测生成全国范围的概率地球化学图，并使用地形高程网格提供的辅助数据。与传统的地统计方法不同，辅助变量网格被原始输入到我们的深度神经网络中。无需提供导数（例如倾斜角、地形情况下的粗糙度），因为深度神经网络能够根据需要学习这些以及任意更复杂的导数来优化预测。我们希望我们的积极成果能够提高人们对贝叶斯深度学习及其特征学习能力在不确定性很重要的大规模地质统计应用中的适用性的认识。

尽管地球系统模型取得了巨大成功，但持久的问题和不确定性仍然存在：

（1）评估地球系统模型的一个关键量是平衡气候敏感性，定义为大气 Co2 瞬时加倍导致的平衡全球平均温度升高量（参考 [9] ）。当前的地球系统模型中仍然存在较大的平衡气候敏感性范围。从 cmip5 到 cmip6，可能的平衡气候敏感性范围已从 2.1−4.7°c2.1-4.7°c 扩大到 1.8−5.6°c1.8-5.6°c（参考文献 [10][11]）。减少这些不确定性从而减少未来气候预测的不确定性，是地球系统模型发展的主要挑战之一。

（2）理论和古气候数据都表明，地球系统的几个子系统可以突然改变自身状态以响应被施加的逐渐变化 [12][13]。人们担心当前的地球系统模型无法预测未来气候突变，因为不到两个世纪的仪器时代没有经历过类似变化，同时相关时间的长度（观测周期）也无法支持针对此类事件的古气候数据模型验证[14]。在广泛的搜寻中，在 cmip5 模型的未来预测中发现了许多相对突然的转变 [15]，但由于这些罕见的高风险事件的性质，地球系统模型预测它们的准确性仍未得到检验。

（3）目前的地球系统模型尚不适合评估 Co2 去除技术的功效或环境影响，这些技术被认为是实现《巴黎协定》[16]途径中的关键缓解方案。此外，地球系统模型无法充分代表关键的环境过程，例如碳循环、水和养分可用性或土地利用与气候之间的相互作用。这可能会影响基于陆地的缓解方案的有效性，这些方案依赖于诸如具有碳捕获和储存的生物质能或基于自然的气候解决方案等行动[17][18]。

（4）编码地球系统动力学的时间序列分布通常表现出重尾。热浪和干旱、极端降水和相关洪水等极端事件，总是造成巨大的社会经济损失。随着持续的人为气候变化，预计此类事件将变得更加严重，极端事件原因分析给地球系统科学带来了另一个突出的挑战[19]。尽管目前地球系统模型在预测气候量的平均值方面非常熟练，但在表示极端值方面仍有改进空间。

除了上述基本挑战的可能解决方案之外，还可以通过基于过程的数值模型、更广泛和更系统的观测数据集成等方法来提高地球系统模型的整体准确性。地球系统观测是地球系统模型的核心，服务于多种目的；它们用于评估和比较过程模型性能，以生成模型参数和初始模型状态，或作为地球系统模型的边界驱动[20][21]。地球系统观测还用于通过调整或微调描述未建模过程的参数，或通过更复杂的数据同化方法来直接影响模型输出，这些方法改变模型的状态变量以使模型输出与观测结果更好地保持一致[22]：

  • 基于梯度的优化代表了当前效率和准确性的最先进技术水平，但需要耗时的设计，并为每个模型运行量身定制的伴随计算例程。
  • 基于集成的卡尔曼滤波方案是无梯度的，但会产生不真实的输出，并且依赖于经常无法满足的严格统计假设，从而导致偏差和过度自信的预测[23]。
  • 当代地球系统模型数据同化的主要问题是 (1) 非线性动力学和非高斯误差预算与许多地球系统模型组件的高维度相结合[24][25][26]， (2) 在耦合系统中发现的不同时空尺度上选择对管理过程的适当约束[27][28]。

地球系统观测涵盖了广泛的时空尺度和类型，从几厘米到几万公里，从几秒、几十年到几千年。观测类型从不规则时间和空间的现场测量到基于全球卫星的数据场。然而，可用的观测数据池在时间和空间上仍然存在巨大差距，由于数据分辨率不足、观测时间太短以及地球系统的大部分未被观测到的部分（如深海），目前尚无法构建一个由历史观测驱动的耦合地球系统的完整图景。这些复杂特征的组合使地球系统观测既具有挑战性又对 AI 应用特别感兴趣。

3 从基于机器学习的数据探索到 “学习物理”

与其他研究分支相比[29][30][31][32]，机器学习在地球和气候科学中的使用仍处于起步阶段。尽管当前的机器学习应用主要存在于探索性研究中，距离实际应用还很遥远，但预计会对研究以及超级计算行业产生深远影响[33]。一个关键的观察是来自计算机视觉和自动图像分析的机器学习概念可以同构地转移到地球系统观测图像和时间序列 [34][35]。早在 1990 年代，先驱性研究就证明了机器学习在遥感数据分析、分类任务和参数反演 [36][37][38][39] 以及气候模型模拟方面的可行性[40]。然而，地球和气候科学中 AI 技术大爆发仅仅是过去 5 年才开始的事情，并将在未来几十年内持续发展。

机器学习已应用于各种空间和时间尺度，从短期区域天气预报到全球气候现象。目前，已经在开发纯数据驱动的天气预报网络方面取得了相当大的进展，旨在探索能够替代 “过程模型预报” 的方法，或模拟和加速天气预报系统的计算要求高的组件，例如重力波阻力的参数化和模拟云过程。但是， 当前全球数据驱动的机器学习天气预报模型的分辨率远低于最先进的过程模型，并且可用训练数据的缺乏可能会成为缩小此差距的障碍。

不过，在这种情况下，用于 仿真任务 和 加速任务 的机器学习可以发挥更重要的作用（图 [1] 中的橙色知识集群)，特别是在百亿亿次级计算场景以及解决相关计算挑战和瓶颈时。机器学习促进了提高自然灾害可预测性的迫切需要，例如，通过 揭示全球极端降雨远程连接 、 改进厄尔尼诺/南方振荡的长期预报等。基于机器学习的图像填充技术可用于重建缺失的气候信息，从而纠正以前的全球温度记录。此外，机器学习还用于分析气候数据集，以从自然气候变率中提取特定的驱动信号，或预测集群天气模式。在这些应用中，机器学习工具充当高度专业化的代理（agents），有助于以自动化方式发现和分类模式，这对于目前仅通过物理定律或参数化进行有限描述的可观测过程而言，特别有用（图 [1] 中的绿色知识集群）。

与基于协方差的空间分析相比，机器学习的一个关键方法论优势在于映射非线性过程的可能性。但同时，这种训练有素的神经网络缺乏实际物理过程方面的知识，因为它们仅通过最小化特定任务的损失函数来识别和概括统计关系。因此，地球和气候科学中的机器学习研究在方法论发展和适用性方面与之前描述的推进地球系统模型的努力存在根本差异。

将机器学习的概念 “应用于物理盲数据分析，甚至作为地球系统模型的替代或扩展方法” 的思潮，最近才开始逐步形成。科学家们开始追求利用机器学习方法来学习地球和气候物理学方面的目标，或者至少合理地将因果关系联系起来。“机器学习与基于过程建模相结合” 与以往地球系统观测数据探索之间存在本质区别（ 图[1] 中的蓝色知识集群）。将机器学习从纯粹的 “诊断驱动用途” 提升到 “地球物理过程预测”，对于帮助气候变化研究和制定缓解策略也至关重要。

按照这种推理， 可以使用过程模型数据对机器学习方法进行训练，以继承特定的地球物理因果关系，甚至可以模拟和加速整个正向模拟。例如，机器学习已与地球系统模型和地球系统观测结合使用，反演太空海洋磁场观测以确定全球海洋热含量。同样，神经网络已经用大陆水文学模型进行了训练，可以从卫星重力测量中恢复了高分辨率陆地水储存。机器学习在扩大分布不均的碳通量测量以改进全球碳监测系统方面也发挥着重要作用。气旋相关技术与机器学习相结合来测量生态系统与大气之间的 CO2 净生态系统交换，为研究生态系统对气候变化的响应提供了独特的机会。机器学习已成功应用于表示亚网格级过程和地球系统模型的其他参数化，前提是有足够的训练数据可用。因此，神经网络被应用于近似海洋模型中的湍流过程和气候模型中的大气子网格过程。在这里，可以实现大量的计算节省，释放资源。这些资源反过来可用于改进模型模拟，例如，通过增加集成大小或提高数值模型的分辨率。

几项研究强调了基于机器学习的参数化方案的潜力，有助于逐步消除数字和人为引起的简化以及地球系统模型的其他偏差。尽管如此，大多数机器学习参数化方案仍在理想化条件下应用，例如粗糙的模型分辨率、简化物理或减少预测模型变量。在更复杂的地球系统模型配置上传输和测试这些成果仍然是一个持续和开放的挑战。

尽管一些训练有素的机器学习工具和简单的混合工具已经显示出比传统的过程模型更高的预测能力，但仅仅触及了未来给中新可能性和新科学挑战的浅层。到目前为止，机器学习、地球系统模型和地球系统观测在很大程度上是独立的工具。然而，我们已经了解到，物理感知机器学习 和 模型-神经网络混合体 等方法，为解决纯过程模型所缺乏的可靠性问题提供了巨大的好处。

4 过程模型与人工智能的融合

将过程模型和机器学习模型混合的想法并不新鲜，但随着最近的进展，人们对机器学习如何增强过程模型的理解也得到了发展。长期目标是 “将最近发现的机器学习优势持续整合到地球系统科学的过程知识来源中”（图 [2])。但是，这种演变并非没有方法论的警示，需要仔细研究。为了可比性，我们区分了 弱耦合 NESYM 混合体（其中地球系统模型或 AI 技术从彼此的信息中获益）和 强耦合 NESYM 混合体（其中完全耦合的模型-神经网络组合动态交换信息）。

图2

图 2：地球系统模型和 AI 向 NESYM 融合过程的连续阶段。 图中左右两个分支可视化了当前构建弱耦合混合体的努力和目标（蓝色和黄色），这些努力和目标在可解释人工智能 XAI 的支持下趋向于强耦合混合体。文中提供了弱耦合和强耦合的更多细节。

弱混合体的新兴发展主要是由解决先前描述的地球系统模型限制的目标驱动的，特别是未解决和亚网格级过程（图 [2] 的左分支)。在使用来自解析感兴趣过程的高分辨率模型的模拟数据或相关地球系统观测数据进行仔细训练后，神经网络可以模拟此类过程。下一个方法里程碑将是将此类经过训练的神经网络集成到地球系统模型中以供操作使用。最初的测试表明，AI 技术的选择（例如，神经网络与随机森林）似乎对于学习参数化方案的实施至关重要，因为它们会大大降低地球系统模型的数值稳定性。因此，不仅重要的是要确定如何训练神经网络来解决地球系统模型限制，而且重要的是如何在模型物理环境中稳定这种基于机器学习的方案，以及如何评估和解释它们对过程模拟的影响。基于机器学习的参数化方法的局限性可能因不同问题或使用的模型而有很大差异，因此，应针对每个学习任务单独考虑。尽管如此，已经提出了一些想法来稳定机器学习参数化，例如，通过神经网络和特定网络架构中的自定义损失函数或通过优化高分辨率模型训练数据来增强物理一致性。此外，还提出了一个地球系统模型蓝图，其中可以通过搜索地球系统模型、观测和高分辨率模拟之间的统计测量的最佳拟合来确定学习参数化。虽然这不是严格应用机器学习，但该方法非常适合探索适用于平滑气候解决方案的参数化，避免了基于集成的卡尔曼滤波技术的问题。在此背景下，已经做出进一步的努力来增强地球系统模型，不是直接使用机器学习，而是结合数据同化系统。例如，已经研究了用机器学习模拟卡尔曼滤波器方案，提出了一种基于机器学习的大气驱动不确定性估计，用作数据同化中的误差协方差信息，并提出了用于 nudged hindcasts 的机器学习，以及其他类型的卡尔曼网络混合。尽管已证明将数据同化和机器学习相结合的潜力，但应该强调的是，当前数据同化的许多挑战也需要针对各自的机器学习方法来解决，例如模型和观测不确定性的稳健量化以及稀疏观测的最佳使用。

**什么是数据同化**

数据同化(data assimilation)是指在考虑数据时空分布以及观测场和背景场误差的基础上,在数值模型的动态运行过程中融合新的观测数据的方法。它是在过程模型的动态框架内,通过数据同化算法不断融合时空上离散分布的不同来源和不同分辨率的直接或间接观测信息来自动调整模型轨迹,以改善动态模型状态的估计精度，提高模型预测能力。 [1] 数据同化是一种最初来源于数值天气预报，为数值天气预报提供初始场的数据处理技术，已广泛应用于大气海洋领域。

（1）基本概念

数据同化是一种最初来源于数值天气预报，为数值天气预报提供初始场的数据处理技术。已广泛应用于大气海洋领域。

由于数据同化可以应用于地球系统科学研究的多个领域，因此不同领域专家对数据同化的内涵与外延有各自的表述。综合起来可以概括定义数据同化包括4个基本要素：模拟自然界真实过程的动力模型；状态量的直接或间接观测数据；不断将新观测的数据融入过程模型计算中、校正模型参数、提高模型模拟精度的数据同化算法；驱动模型运行的基础参量数据。

资料同化的主要任务是将各种不同来源，不同误差信息，不同时空分辨率的观测资料融合进入数值动力模式，依据严格的数学理论，在模式解与实际观测之间找到一个最优解，这个最优解可以继续为动力模式提供初始场，以此不断循环下去，使得模式的结果不断地向观测值靠拢。

（2）算法分类

按数据同化算法与模型之间的关联机制，数据同化算法大致可分为顺序数据同化算法和连续数据同化算法两大类。 连续数据同化算法定义一个同化的时间窗口T，利用该同化窗口内的所有观测数据和模型状态值进行最优估计，通过迭代而不断调整模型初始场，最终将模型轨迹拟合到在同化窗口周期内获取的所有观测上，如三维变分和四维变分算法等。 顺序数据同化算法又称滤波算法，包括预测和更新两个过程。预测过程根据t时刻状态值初始化模型，不断向前积分直到有新的观测值输入，预测t+1时刻模型的状态值；更新过程则是对当前t+1时刻的观测值和模型状态预测值进行加权，得到当前时刻状态最优估计值。根据当前t+1时刻的状态值对模型重新初始化，重复上述预测和更新两个步骤，直到完成所有有观测数据时刻的状态预测和更新，常见的算法有集成卡尔曼滤波和粒子滤波算法等。

（3）“分析-预报”循环

数据同化过程主要为两个步骤的循环。
第一步：可以称为分析，其中实际系统的观测量与模型产生的预报值相比较/融合，得到系统状态的最佳估计。
第二步：根据观测数据和模型两者包含的不确定度信息，平衡二者得到关于未来系统状态的预报值（具体时间点由下一批观测值给出）。

（4）数据同化与卡尔曼滤波器

可以用卡尔曼滤波器来比喻数据同化过程。其中 “分析” 步骤类似于观测值与它的预估值的作差；预报步骤则相当于系统状态的最优估计。数据同化与最优控制过程之不同在于，其自由度数量庞大，根本无法得到其协方差矩阵。 数据同化常用于涉及大规模时效性数据处理的过程，如现代天气预报。

在第二类弱混合中，模型和 AI 任务被调换，使得信息流从模型流向 AI 工具（图 [2] 的右分支)。神经网络直接使用模型状态变量、其轨迹或更抽象的信息进行训练，例如季节性信号、年际周期或耦合机制（图 [1] 中的知识集群连接)。机器学习应用的目标可能不仅是模型仿真，还包括反演非线性地球物理过程、学习地球物理因果关系或预测极端事件。除了这些推理和泛化任务之外，该子学科的一个关键问题是神经网络是否可以学习在物理一致性或预测能力方面优于所使用的基于过程的训练模型。地球系统观测在这方面起着至关重要的作用，因为它们可以作为神经网络训练的额外训练约束，允许网络建立独立的自我评估措施。

这些示例通常适用于给定训练数据分布内的验证和预测场景。相比之下，分布外的样本对监督学习提出了巨大挑战，这使得 “从过去学习” 原则可能不适用于 NESYM 中的预测任务。由于气候和地球系统的自然和人为引起的非平稳性，纯数据驱动的人工智能方法自行执行准确的气候预测将非常具有挑战性，并且在许多情况下是不可能的。尽管如此，对于可以令人信服地论证的问题，对于纯数据驱动的人工智能方法的一些希望可能仍然存在，例如，寒冷气候训练条件和温暖气候预测的数据分布重叠。但在实际工作中，很难保证对应于变暖气候数据分布的未观测区域与正在研究的给定过程无关。此外，在特定情况下，所研究过程的规模可能与人为气候变化背景下的相关规模大体上是可分离的；然而，在实际工作中保证这一点将再次变得非常困难。

克服气候系统非平稳性带来的总体局限性，需要在强耦合混合模型方面进行更深入的整体整合，并考虑其他约束较少的训练技术，例如无监督训练和生成人工智能方法。例如，通过将纯 AI 方法与非固定训练数据结合起来描述地球系统因人为温室气体排放而发生的能量平衡变化的物理方程，可以减轻这些问题。强耦合混合模型的一个关键区别是机器学习组件可以通过持续训练得到进一步改进。因此，动态信息交换意味着机器学习部分不仅在弱混合训练后被反复调用，而且可以根据当前模型状态、新的可用观测等进一步发展。此外，通过基于机器学习和数据驱动的物理方程发现以及在气候建模背景下实施神经偏微分方程，迈出了通向物理知识 AI 的第一步。

方法融合过程的持续发展将允许构建动态交换信息的神经网络、地球系统模型和地球系统观测的混合体。地球系统模型将很快使用监督和非监督神经网络的输出来优化它们的物理一致性，进而将改进的信息内容反馈给机器学习组件。地球系统观测形成了另一个核心元素，并作为 AI 注入过程预测的约束性基本事实。与生成网络的对抗游戏或地球系统模型中的耦合机制类似，强耦合 NESYM 混合体也需要创新的接口来控制目前尚不可用的信息交换。由于弱混合体和强混合体的方法范围太大，无法通过单一的总体定义来概括，我们制定了关键特征并定义了 NESYM 的目标：
（1）混合模型可以再现和预测分布外的样本和极端事件
（2）尽管混合模型的各个组件存在潜在缺陷，但混合模型执行遵守物理守恒定律的受限且一致的模拟
（3）混合模型包括用于自我验证和自我纠正的集成自适应措施
（4）NESYM 允许可复制性和可解释性

虽然大多数研究都在这种情况下为机器学习实现了神经网络，但 NESYM 包含了所有有助于实现这些目标的人工智能技术。 NESYM 的最终目标是帮助科学家改进当前地球物理过程的预测限制，并有助于了解地球在气候变化中的易受影响状态。因此，不仅地球系统模型和 AI 的融合将成为研究的重点，而且 AI 的可解释性和黑匣子通用概念的解析也将成为研究的重点。

5 窥探黑匣子

机器学习已成为一套基于统计学、应用数学和计算机科学相结合的方法，但它也有一系列独特的障碍。深入黑匣子并解释机器学习方法的决策过程，称为可解释 AI (XAI)，对于使用机器学习工具至关重要。在物理科学中，机器学习的适应性因缺乏可解释性而受到阻碍，尤其是有监督的机器学习。相比之下，除了 XAI 之外，还有对可解释 AI (IAI) 的呼吁，即从一开始就构建专门可解释的机器学习模型，而不是通过后处理诊断来解释机器学习预测。

确保机器 “学习” 的内容在物理上易于处理或具有因果关系，而不是由于微不足道的巧合。用于开发 XAI 模型的工具被称为 加性特征归因。然而，在上述情况下，我们强调 IAI 和 XAI 方法应该与适定的物理研究假设齐头并进。同样在这方面，我们再次强调了将 AI 的最新方法与特定领域的物理理解以及过程模型的最新技术相结合的重要性。

无监督机器学习可以通过实验的设计直观地进行 IAI。例如，对动量的封闭模型预算应用聚类确保所有相关物理都得到表示，并且可以根据项之间的统计显性平衡来解释。同样，“方程驱动” 机器学习可用于确定给定一系列数学运算的显著项，并在此基础上提出可解释的子网格尺度参数化发展。通过这种方式，可以确定主要的物理机制或方程式项，从而产生物理学及其他领域的新知识。随后可以使用有关主导制度的知识来为适定的 XAI 应用设计特征，其中预测机器学习技能的来源是透明的。对抗性学习一直是在气候模型中生成大气变量超分辨率场的有效工具。此外，还提出了无监督机器学习方法来发现和量化系统内部的因果关系和动态联系，例如地球的气候。另一个可以称为 IAI 的机器学习应用示例是方程发现，例如使用相关向量机，它已应用于海洋涡流参数化。还值得注意的是，已经呼吁对分析工具进行一场革命来评估气候模型，而机器学习有望成为这一变化的一部分。

鉴于可解释性和可解释性对于改进机器学习泛化和科学发现的重要性，促进气候和 AI 科学家之间的合作可以帮助开发适合该领域需求的方法。这不仅仅是一个有趣的练习——它对于正确使用 AI 来开发和使用 NESYM 是必不可少的。地球和气候科学家可以帮助开发一致的基准，允许在地球物理一致性方面评估独立机器学习和混合体。但是，需要 AI 社区的帮助来解决最近突出的其他机器学习陷阱。例如，识别和避免混合模型中的捷径学习，开发对抗性示例和深度学习工件的地球系统模型概念，以及开发加性特征归因。只有通过地球系统模型和 AI 的共同努力和不断发展，NESYM 才能出现。

6 结束语

我们的观点不仅应被视为实现更好地了解地球现在和未来状态的有前途的科学途径的轮廓，而且还应被视为对人工智能社区最近呼吁合作的回应。从目前人工智能在地球系统和气候科学中的应用可以看出，进一步探索人工智能在该领域的全部潜力和局限性非常重要。然而，这一研究方向是一项高风险的冒险，存在许多潜在的陷阱和死胡同。在这一点上，不能保证人工智能将成为克服地球和气候科学重大挑战的关键，其中一些挑战在本评论开头有所描述。在目前阶段，仅靠人工智能似乎也不太可能解决气候预测问题。在未来几年，AI 必然需要依赖明确的、具有物理意义的研究假设、过程模型的地球物理决定论以及针对特定领域知识的仔细人类评估。沿着这样的思路，我们相信，在将 AI 应用于地球系统科学方面，超越当前炒作的持久进展将是可能的。然而，一旦我们找到上述可预见的局限性的解决方案，并能够构建可解释的和地球物理学一致的人工智能工具，下一步的进化步骤似乎更有可能发生。

参考文献

  • [1] Prinn, R. G. Development and application of earth system models. _Proc. Natl Acad. Sci. USA_ 110, 3673–3680 (2013).
  • [2] Taylor, K. E., Stouffer, R. J. & Meehl, G. A. An overview of CMIP5 and the experiment design. Bull. Am. Meteorol. Soc. 93, 485–498 (2012).
  • [3] IPCC _Climate Change 2013: The Physical Science Basis_ (eds Stocker, T. F. et al.) (Cambridge Univ. Press, 2013).
  • [4] Eyring, V. et al. Overview of the Coupled Model Intercomparison Project Phase 6 (CMIP6) experimental design and organization. _Geosci. Model Dev._ 9 , 1937–1958 (2016).
  • [5] Lin, J. W.-B. & Neelin, J. D. Considerations for stochastic convective parameterization. _J. Atmos. Sci._ 59 , 959–975 (2002).
  • [6] Klein, R. Scale-dependent models for atmospheric flows. _Annu. Rev. Fluid Mech._ 42 , 249–274 (2010).
  • [7] Berner, J. et al. Stochastic parameterization: toward a new view of weather and climate models. _Bull. Am. Meteorol. Soc._ 98 , 565–588 (2017).
  • [8] Knutti, R. Should we believe model predictions of future climate change? _Phil. Trans. R. Soc. A_ 366 , 4647–4664 (2008).
  • [9] Knutti, R., Rugenstein, M. A. & Hegerl, G. C. Beyond equilibrium climate sensitivity. _Nat. Geosci._ 10 , 727–736 (2017).
  • [10] Meehl, G. A. et al. Context for interpreting equilibrium climate sensitivity and transient climate response from the CMIP6 Earth system models. _Sci. Adv._ 6 , eaba1981 (2020).
  • [11] Zelinka, M. D. et al. Causes of higher climate sensitivity in CMIP6 models. _Geophys. Res. Lett._ 47 , e2019GL085782 (2020).
  • [12] Lenton, T. M. et al. Tipping elements in the earth’s climate system. _Proc. Natl Acad. Sci. USA_ 105 , 1786–1793 (2008).
  • [13] Boers, N., Ghil, M. & Rousseau, D.-D. Ocean circulation, ice shelf, and sea ice interactions explain Dansgaard-Oeschger cycles. _Proc. Natl Acad. Sci. USA_ 115 , E11005–E11014 (2018).
  • [14] Valdes, P. Built for stability. _Nat. Geosci._ 4 , 414–416 (2011).
  • [15] Drijfhout, S. et al. Catalogue of abrupt shifts in Intergovernmental Panel on Climate Change climate models. _Proc. Natl Acad. Sci. USA_ 112 , E5777–E5786 (2015).
  • [16] IPCC _Special Report on_ _Global Warming of 15°C_ (eds Masson-Delmotte, V. et al.) (WMO, 2018); [https://www.ipcc.ch/sr15](https://www.ipcc.ch/sr15)
  • [17] IPCC _Special Report on Climate Change and Land_ (eds Shukla, P. et al.) (IPCC, 2019); [https://www.ipcc.ch/srccl/](https://www.ipcc.ch/srccl/)
  • [18] IPCC _Special Report on the Ocean and Cryosphere in a Changing Climate_ (eds Pörtner, H. et al.) (IPCC, 2019); [https://www.ipcc.ch/srocc/](https://www.ipcc.ch/srocc/)
  • [19] Otto, F. E. et al. Attribution of extreme weather events in Africa: a preliminary exploration of the science and policy implications. _Climatic Change_ 132 , 531–543 (2015).
  • [20] Balsamo, G. et al. Satellite and in situ observations for advancing global earth surface modelling: a review. _Remote Sens._ 10 , 2038 (2018).
  • [21] Hersbach, H. et al. The ERA5 global reanalysis. _Q. J. R. Meteorol. Soc._ 146 , 1999–2049 (2020).
  • [22] Evensen, G. _Data Assimilation: The Ensemble Kalman Filter_ (Springer, 2009).
  • [23] Houtekamer, P. L. & Zhang, F. Review of the ensemble Kalman filter for atmospheric data assimilation. _Mon. Weather Rev._ 144 , 4489–4532 (2016).
  • [24] van Leeuwen, P. J. Nonlinear data assimilation in geosciences: an extremely efficient particle filter. _Q. J. R. Meteorol. Soc._ 136 , 1991–1999 (2010).
  • [25] van Leeuwen, P. J., Künsch, H. R., Nerger, L., Potthast, R. & Reich, S. Particle filters for high-dimensional geoscience applications: a review. _Q. J. R. Meteorol. Soc._ 145 , 2335–2365 (2019).
  • [26] Vetra-Carvalho, S. et al. State-of-the-art stochastic data assimilation methods for high-dimensional non-Gaussian problems. _Tellus A_ 70 , 1–43 (2018).
  • [27] Penny, S. G. et al. Strongly coupled data assimilation in multiscale media: experiments using a quasi-geostrophic coupled model. _J. Adv. Model. Earth Syst._ 11 , 1803–1829 (2019).
  • [28] Browne, P. A., de Rosnay, P., Zuo, H., Bennett, A. & Dawson, A. Weakly coupled ocean-atmosphere data assimilation in the ECMWF NWP system. _Remote Sens._ 11 , 234 (2019).
  • [29] Voulodimos, A., Doulamis, N., Doulamis, A. & Protopapadakis, E. Deep learning for computer vision: a brief review. _Comput. Intell. Neurosci._ 2018 , 7068349 (2018).
  • [30] Brown, T. B. et al. Language models are few-shot learners. Preprint at [https://arxiv.org/abs/2005.14165](https://arxiv.org/abs/2005.14165) (2020).
  • [31] Loh, E. Medicine and the rise of the robots: a qualitative review of recent advances of artificial intelligence in health. _BMJ Lead._ 2 , 59–63 (2018).
  • [32] Girasa, R. in _Artificial Intelligence as a Disruptive Technology_ 3–21 (Springer, 2020).
  • [33] Bauer, P. et al. The digital revolution of Earth-system science. _Nat. Comput. Sci._ 1 , 104–113 (2021).
  • [34] Lary, D. J., Alavi, A. H., Gandomi, A. H. & Walker, A. L. Machine learning in geosciences and remote sensing. _Geosci. Front._ 7 , 3–10 (2016).
  • [35] Salcedo-Sanz, S. et al. Machine learning information fusion in Earth observation: a comprehensive review of methods, applications and data sources. _Inf. Fusion_ 63 , 256–272 (2020).
  • [36] Dawson, M., Olvera, J., Fung, A. & Manry, M. Inversion of surface parameters using fast learning neural networks. In _Proc. IGARSS ’92 International Geoscience and Remote Sensing Symposium_ Vol. 2, 910–912 (IEEE, 1992); [http://ieeexplore.ieee.org/document/578294](http://ieeexplore.ieee.org/document/578294)
  • [37] Miller, D. M., Kaminsky, E. J. & Rana, S. Neural network classification of remote-sensing data. _Comput. Geosci._ 21 , 377–386 (1995).
  • [38] Serpico, S. B., Bruzzone, L. & Roli, F. An experimental comparison of neural and statistical non-parametric algorithms for supervised classification of remote-sensing images. _Pattern Recogn. Lett._ 17 , 1331–1341 (1996).
  • [39] Hsieh, W. W. & Tang, B. Applying neural network models to prediction and data analysis in meteorology and oceanography. _Bull. Am. Meteorol. Soc._ 79 , 1855–1870 (1998).
  • [40] Knutti, R., Stocker, T. F., Joos, F. & Plattner, G. K. Probabilistic climate change projections using neural networks. _Clim. Dynam._ 21 , 257–272 (2003).
  • [41] Arcomano, T. et al. A machine learning-based global atmospheric forecast model. _Geophys. Res. Lett._ 47 , e2020GL087776 (2020).
  • [42] Weyn, J. A., Durran, D. R. & Caruana, R. Can machines learn to predict weather? Using deep learning to predict gridded 500-hPa geopotential height from historical weather data. _J. Adv. Model. Earth Syst._ 11 , 2680–2693 (2019).
  • [43] Weyn, J. A., Durran, D. R. & Caruana, R. Improving data-driven global weather prediction using deep convolutional neural networks on a cubed sphere. _J. Adv. Model. Earth Syst._ 12 , e2020MS002109 (2020).
  • [44] Chantry, M., Hatfield, S., Duben, P., Polichtchouk, I. & Palmer, T. Machine learning emulation of gravity wave drag in numerical weather forecasting. Preprint at [https://arxiv.org/abs/2101.08195](https://arxiv.org/abs/2101.08195) (2021).
  • [45] Gettelman, A. et al. Machine learning the warm rain process. _J. Adv. Model. Earth Syst._ 13 , e2020MS002268 (2021).
  • [46] Rasp, S. & Thuerey, N. Data-driven medium-range weather prediction with a Resnet pretrained on climate simulations: a new model for WeatherBench. _J. Adv. Model. Earth Syst._ 13 , e2020MS002405 (2021).
  • [47] Palmer, T. A vision for numerical weather prediction in 2030. Preprint at [https://arxiv.org/abs/2007.04830](https://arxiv.org/abs/2007.04830) (2020).
  • [48] Neumann, P. et al. Assessing the scales in numerical weather and climate predictions: will exascale be the rescue? _Phil. Trans. R. Soc. A_ 377 , 20180148 (2019).
  • [49] Kurth, T. et al. Exascale deep learning for climate analytics. In _SC18: International Conference for High Performance Computing, Networking, Storage and Analysis_ 649–660 (IEEE, 2018).
  • [50] Boers, N. et al. Complex networks reveal global pattern of extreme-rainfall teleconnections. _Nature_ 566 , 373–377 (2019).
  • [51] Ham, Y.-g, Kim, J.-h & Luo, J.-j Deep learning for multi-year ENSO forecasts. _Nature_ 573 , 568–572 (2019).
  • [52] Yan, J., Mu, L., Wang, L., Ranjan, R. & Zomaya, A. Y. Temporal convolutional networks for the advance prediction of ENSO. _Sci. Rep._ 10 , 8055 (2020).
  • [53] Kadow, C., Hall, D. M. & Ulbrich, U. Artificial intelligence reconstructs missing climate information. _Nat. Geosci._ 13 , 408–413 (2020).
  • [54] Barnes, E. A., Hurrell, J. W., Ebert-Uphoff, I., Anderson, C. & Anderson, D. Viewing forced climate patterns through an AI lens. _Geophys. Res. Lett._ 46 , 13389–13398 (2019).
  • [55] Barnes, E. A. et al. Indicator patterns of forced change learned by an artificial neural network. _J. Adv. Model. Earth Syst._ 12 , e2020MS002195 (2020).
  • [56] Chattopadhyay, A., Hassanzadeh, P. & Pasha, S. Predicting clustered weather patterns: a test case for applications of convolutional neural networks to spatio-temporal climate data. _Sci. Rep._ 10 , 1317 (2020).
  • [57] Ramachandran, P., Zoph, B. & Le, Q. V. Searching for activation functions. Preprint at [https://arxiv.org/abs/1710.05941](https://arxiv.org/abs/1710.05941) (2017).
  • [58] Lu, Z., Hunt, B. R. & Ott, E. Attractor reconstruction by machine learning. _Chaos_ 28 , 061104 (2018).
  • [59] Rumelhart, D. E., Hinton, G. E. & Williams, R. J. Learning representations by back-propagating errors. _Nature_ 323 , 533–536 (1986).
  • [60] Reichstein, M. et al. Deep learning and process understanding for data-driven earth system science. _Nature_ 566 , 195–204 (2019).
  • [61] Huntingford, C. et al. Machine learning and artificial intelligence to aid climate change research and preparedness. _Environ. Res. Lett._ 14 , 124007 (2019).
  • [62] Irrgang, C., Saynisch, J. & Thomas, M. Estimating global ocean heat content from tidal magnetic satellite observations. _Sci. Rep._ 9 , 7893 (2019).
  • [63] Irrgang, C., Saynisch-Wagner, J., Dill, R., Boergens, E. & Thomas, M. Self-validating deep learning for recovering terrestrial water storage from gravity and altimetry measurements. _Geophys. Res. Lett._ 47 , e2020GL089258 (2020).
  • [64] Jung, M. et al. Scaling carbon fluxes from eddy covariance sites to globe: synthesis and evaluation of the fluxcom approach. _Biogeosciences_ 17 , 1343–1365 (2020).
  • [65] Tramontana, G. et al. Partitioning net carbon dioxide fluxes into photosynthesis and respiration using neural networks. _Glob. Change Biol._ 26 , 5235–5253 (2020).
  • [66] Bolton, T. & Zanna, L. Applications of deep learning to ocean data inference and subgrid parameterization. _J. Adv. Model. Earth Syst._ 11 , 376–399 (2019).
  • [67] Rasp, S., Pritchard, M. S. & Gentine, P. Deep learning to represent subgrid processes in climate models. _Proc. Natl Acad. Sci._ 115 , 9684–9689 (2018).
  • [68] O’Gorman, P. A. & Dwyer, J. G. Using machine learning to parameterize moist convection: potential for modeling of climate, climate change, and extreme events. _J. Adv. Model. Earth Syst._ 10 , 2548–2563 (2018).
  • [69] Gagne, D. J., Christensen, H. M., Subramanian, A. C. & Monahan, A. H. Machine learning for stochastic parameterization: generative adversarial networks in the Lorenz ’96 model. _J. Adv. Model. Earth Syst._ 12 , e2019MS001896 (2020).
  • [70] Han, Y., Zhang, G. J., Huang, X. & Wang, Y. A moist physics parameterization based on deep learning. _J. Adv. Model. Earth Syst._ 12 , e2020MS002076 (2020).
  • [71] Beucler, T., Pritchard, M., Gentine, P. & Rasp, S. Towards physically-consistent, data-driven models of convection. Preprint at [http://arxiv.org/abs/2002.08525](http://arxiv.org/abs/2002.08525) (2020).
  • [72] Yuval, J. & O’Gorman, P. A. Stable machine-learning parameterization of subgrid processes for climate modeling at a range of resolutions. _Nat. Commun._ 11 , 3295 (2020).
  • [73] Brenowitz, N. D. & Bretherton, C. S. Prognostic validation of a neural network unified physics parameterization. _Geophys. Res. Lett._ 45 , 6289–6298 (2018).
  • [74] Watt-Meyer, O. et al. Correcting weather and climate models by machine learning nudged historical simulations. Preprint at _ESSOAr_ [https://doi.org/10.1002/essoar.10505959.1](https://doi.org/10.1002/essoar.10505959.1) (2021).
  • [75] Pathak, J. et al. Hybrid forecasting of chaotic processes: using machine learning in conjunction with a knowledge-based model. _Chaos_ 28 , 041101 (2018).
  • [76] Krasnopolsky, V. M. & Fox-Rabinovitz, M. S. Complex hybrid models combining deterministic and machine learning components for numerical climate modeling and weather prediction. _Neural Netw._ 19 , 122–134 (2006).
  • [77] Brenowitz, N. D. et al. Machine learning climate model dynamics: offline versus online performance. Preprint at [http://arxiv.org/abs/2011.03081](http://arxiv.org/abs/2011.03081) (2020).
  • [78] Brenowitz, N. D., Beucler, T., Pritchard, M. & Bretherton, C. S. Interpreting and stabilizing machine-learning parametrizations of convection. _J. Atmos. Sci._ 77 , 4357–4375 (2020).
  • [79] Seifert, A. & Rasp, S. Potential and limitations of machine learning for modeling warm-rain cloud microphysical processes. _J. Adv. Model. Earth Syst._ 12 , e2020MS002301 (2020).
  • [80] Beucler, T., Rasp, S., Pritchard, M. & Gentine, P. Achieving conservation of energy in neural network emulators for climate modeling. Preprint at [https://arxiv.org/abs/1906.06622](https://arxiv.org/abs/1906.06622) (2019).
  • [81] Schneider, T., Lan, S., Stuart, A. & Teixeira, J. Earth system modeling 2.0: a blueprint for models that learn from observations and targeted high-resolution simulations. _Geophys. Res. Lett._ 44 , 12396–12417 (2017).
  • [82] Cintra, R. S. & Velho, H. Fd. C. Data assimilation by artificial neural networks for an atmospheric general circulation model: conventional observation. _Bull. Am. Meteorological Soc._ 77 , 437–471 (2014).
  • [83] Wahle, K., Staneva, J. & Guenther, H. Data assimilation of ocean wind waves using neural networks. a case study for the german bight. _Ocean Model._ 96 , 117–125 (2015).
  • [84] Irrgang, C., Saynisch-Wagner, J. & Thomas, M. Machine learning-based prediction of spatiotemporal uncertainties in global wind velocity reanalyses. _J. Adv. Model. Earth Syst._ 12 , e2019MS001876 (2020).
  • [85] Brajard, J., Carrassi, A., Bocquet, M. & Bertino, L. Combining data assimilation and machine learning to emulate a dynamical model from sparse and noisy observations: a case study with the Lorenz 96 model. _J. Comput. Sci._ 44 , 101171 (2020).
  • [86] Ruckstuhl, Y., Janjić, T. & Rasp, S. Training a convolutional neural network to conserve mass in data assimilation. _Nonlin. Processes Geophys._ 28 , 111–119 (2020).
  • [87] Geer, A. J. Learning Earth system models from observations: machine learning or data assimilation? _Phil. Trans. R. Soc. A_ 379 , 20200089 (2021).
  • [88] Runge, J. et al. Inferring causation from time series in Earth system sciences. _Nat. Commun._ 10 , 2553 (2019).
  • [89] Boers, N. et al. Prediction of extreme floods in the eastern central andes based on a complex networks approach. _Nat. Commun._ 5 , 5199 (2014).
  • [90] Qi, D. & Majda, A. J. Using machine learning to predict extreme events in complex systems. _Proc. Natl Acad. Sci. USA_ 117 , 52–59 (2020).
  • [91] Sonnewald, M., Dutkiewicz, S., Hill, C. & Forget, G. Elucidating ecological complexity: unsupervised learning determines global marine eco-provinces. _Sci. Adv._ 6 , 1–12 (2020).
  • [92] Leinonen, J., Guillaume, A. & Yuan, T. Reconstruction of cloud vertical structure with a generative adversarial network. _Geophys. Res. Lett._ 46 , 7035–7044 (2019).
  • [93] Stengel, K., Glaws, A., Hettinger, D. & King, R. N. Adversarial super-resolution of climatological wind and solar data. _Proc. Natl Acad. Sci. USA_ 117 , 16805–16815 (2020).
  • [94] Huber, M. & Knutti, R. Anthropogenic and natural warming inferred from changes in Earth’s energy balance. _Nat. Geosci._ 5 , 31–36 (2012).
  • [95] Zanna, L. & Bolton, T. Data-driven equation discovery of ocean mesoscale closures. _Geophys. Res. Lett._ 47 , e2020GL088376 (2020).
  • [96] Lagaris, I. E., Likas, A. & Fotiadis, D. I. Artificial neural networks for solving ordinary and partial differential equations. _IEEE Trans. Neural Netw._ 9 , 987–1000 (1998).
  • [97] Raissi, M., Perdikaris, P. & Karniadakis, G. Physics-informed neural networks: a deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. _J. Comput. Phys._ 378 , 686–707 (2019).
  • [98] Ramadhan, A. et al. Capturing missing physics in climate model parameterizations using neural differential equations. Preprint at [http://arxiv.org/abs/2010.12559](http://arxiv.org/abs/2010.12559) (2020).
  • [99] Goodfellow, I. J. et al. Generative adversarial networks. Preprint at [https://arxiv.org/abs/1406.2661](https://arxiv.org/abs/1406.2661) (2014).
  • [100] Hurrell, J. W. et al. The Community Earth System Model: a framework for collaborative research. _Bull. Am. Meteorol. Soc._ 94 , 1339 – 1360 (2013).
  • [101] Rudin, C. Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. _Nat. Mach. Intell._ 1 , 206–215 (2019).
  • [102] Balaji, V. Climbing down Charney’s ladder: machine learning and the post-Dennard era of computational climate science. _Phil. Trans. R. Soc. A_ 379 , 20200085 (2021).
  • [103] Sonnewald, M. et al. Bridging observation, theory and numerical simulation of the ocean using machine learning. Preprint at [https://arxiv.org/abs/2104.12506](https://arxiv.org/abs/2104.12506) (2021).
  • [104] _Ethics Guidelines for Trustworthy AI_ (European Commission, 2019); [https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai](https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai)
  • [105] _The Biden Administration Launches AI.gov Aimed at Broadening Access to Federal Artificial Intelligence Innovation Efforts, Encouraging Innovators of Tomorrow_ (White House, 2021);
  • [106] Toms, B. A., Barnes, E. A. & Ebert-Uphoff, I. Physically interpretable neural networks for the geosciences: applications to Earth system variability. _J. Adv. Model. Earth Syst._ 12 , e2019MS002002 (2020).
  • [107] Kaiser, B. E., Saenz, J. A., Sonnewald, M. & Livescu, D. Objective discovery of dominant dynamical processes with intelligible machine learning. Preprint at [https://arxiv.org/abs/2106.12963](https://arxiv.org/abs/2106.12963) (20201).
  • [108] McGovern, A. et al. Making the black box more transparent: understanding the physical implications of machine learning. _Bull. Am. Meteorological Soc._ 100 , 2175 – 2199 (2019).
  • [109] Ebert-Uphoff, I. & Hilburn, K. Evaluation, tuning and interpretation of neural networks for working with images in meteorological applications. _B. Am. Meteorol. Soc._ 101 , E2149–E2170 (2020).
  • [110] Sonnewald, M. & Lguensat, R. Revealing the impact of global heating on North Atlantic circulation using transparent machine learning. Preprint at _ESSOAr_ [https://doi.org/10.1002/essoar.10506146.1](https://doi.org/10.1002/essoar.10506146.1) (2021).
  • [111] Beucler, T., Ebert-Uphoff, I., Rasp, S., Pritchard, M. & Gentine, P. Machine learning for clouds and climate (invited chapter for the AGU geophysical monograph series ‘clouds and climate’). Preprint at _ESSOAr_ [https://doi.org/10.1002/essoar.10506925.1](https://doi.org/10.1002/essoar.10506925.1) (2021).
  • [112] Olden, J. D., Joy, M. K. & Death, R. G. An accurate comparison of methods for quantifying variable importance in artificial neural networks using simulated data. _Ecol. Model._ 178 , 389–397 (2004).
  • [113] Bach, S. et al. On pixel-wise explanations for non-linear classifier decisions by layer-wise relevance propagation. _PLoS ONE_ 10 , e0130140 (2015).
  • [114] Barnes, E. A., Mayer, K., Toms, B., Martin, Z. & Gordon, E. Identifying opportunities for skillful weather prediction with interpretable neural networks. Preprint at [https://arxiv.org/abs/2012.07830](https://arxiv.org/abs/2012.07830) (2020).
  • [115] Sonnewald, M., Wunsch, C. & Heimbach, P. Unsupervised learning reveals geography of global ocean dynamical regions. _Earth Space Sci._ 6 , 784–794 (2019).
  • [116] Callaham, J. L., Koch, J. V., Brunton, B. W., Kutz, J. N. & Brunton, S. L. Learning dominant physical processes with data-driven balance models. _Nat. Commun._ 12 , 1016 (2021).
  • [117] Runge, J., Nowack, P., Kretschmer, M., Flaxman, S. & Sejdinovic, D. Detecting and quantifying causal associations in large nonlinear time series datasets. _Sci. Adv._ 5 , eaau4996 (2019).
  • [118] Eyring, V. et al. Taking climate model evaluation to the next level. _Nat. Clim. Change_ 9 , 102–110 (2019).
  • [119] Schlund, M. et al. Constraining uncertainty in projected gross primary production with machine learning. _J. Geophys. Res. Biogeosci._ 125 , e2019JG005619 (2020).
  • [120] Rasp, S. et al. WeatherBench: a benchmark dataset for data-driven weather forecasting. _J. Adv. Model. Earth Syst._ 12 , e2020MS002203 (2020).
  • [121] Geirhos, R. et al. Shortcut learning in deep neural networks. _Nat. Mach. Intell._ 2 , 665–673 (2020).
  • [122] Buckner, C. Understanding adversarial examples requires a theory of artefacts for deep learning. _Nat. Mach. Intell._ 2 , 731–736 (2020).
  • [123] Alvarez-Melis, D. & Jaakkola, T. S. On the robustness of interpretability methods. Preprint at [https://arxiv.org/abs/1806.08049](https://arxiv.org/abs/1806.08049) (2018).
  • [124] Rolnick, D. et al. Tackling climate change with machine learning. Preprint at [http://arxiv.org/abs/1906.05433](http://arxiv.org/abs/1906.05433) (2019).