|
用于 ENSO 研究的 3D-Geoformer：一种基于 Transformer 并集成梯度方法以增强可解释性的模型 The 3D-Geoformer for ENSO studies: a Transformer-based model with integrated gradient methods for enhanced explainability Lu Zhou & Rong-Hua Zhang
（一）研究背景
厄尔尼诺 - 南方涛动（ENSO）是全球最具主导性的年际气候模式，起源于热带太平洋，对全球天气和气候格局产生深远影响。ENSO 的发展与 Bjerknes 反馈机制密切相关，该机制涉及热带太平洋海 - 气之间的耦合过程，包括西太平洋上空的表面风、东太平洋的海表温度（SST）以及赤道附近的温跃层。除了热带过程外，研究还表明，北极海冰异常和阿留申低压等中纬度过程也在调节 ENSO 发展中发挥着重要作用，为 ENSO 的可预测性提供了长期记忆。鉴于 ENSO 的重要性，科学家们开发了众多统计和基于物理的数值模型来模拟和预测 ENSO，当前这些模型能够有效预测超过六个月的 ENSO 事件。然而，由于模型偏差和 ENSO 的非线性特性，超过一年的长期 ENSO 预测仍然具有挑战性。
（二）研究意义
本研究提出的 3D-Geoformer 是一种基于 Transformer 架构的新型 3D 多变量预测模型，旨在解决现有深度学习（DL）模型在捕捉热带太平洋海 - 气耦合系统内多变量协同演化方面的局限性，更准确地表征与 ENSO 相关的海洋 - 大气相互作用，提升 ENSO 预测的提前期和准确性，为气候建模和 ENSO 预测提供了新的思路和方法，有助于深入理解 ENSO 的物理机制和提高其可预测性。
（三）研究方法
1. 模型架构 ：3D-Geoformer 基于编码器 - 解码器方案构建，包含数据预处理模块、编码器、解码器和输出层等关键模块。模型输入为两个海表面风应力（τx 和 τy）分量和七个上层海洋温度异常场，输入和输出通道轴设置为 C=9，能够对多个月时间间隔（TI）内的异常进行建模，TI 标准设置为 12，输出预测为接下来的二十个月（Tout=20）。
• 预处理模块 ：将输入预测变量 X in ∈ ℝTI×C×H×W 重塑为大小为 C×h0×w0=9×3×4 的 N 个固定大小且不重叠的块，以分解预测变量 X ʹin ∈ ℝTI´N´C´h0´w。然后使用可学习的嵌入将分解后的预测变量 Xʹin 转换为嵌入向量 Xem∈ℝTI×N×d，并添加可学习的时空位置编码。
• 编码器 ：是压缩预测变量的关键组件，通过时空自注意力机制将符号表示 X em 映射到连续特征图序列。编码器堆叠了 n1=3 个相同的编码块，每个块包含两个子层，第一个是多头时空注意力层，第二个是全连接前馈神经网络（FNN），并在每个子层周围使用残差连接和层归一化（LN）操作。
• 解码器和输出层 ：解码器由 n2=3 个相同的解码块组成，每个块包含三个子层。解码器将编码器 refined 特征图与之前预测的字段作为初始条件相结合，以生成后续月份的预测。输出层由前馈网络组成，用于将解码器 refined 表示矩阵映射和重塑回原始空间分辨率。
2. 模型训练策略 ：为了优化多达 20 个月提前期的多变量预测，研究引入了一种名为渐进式自回归真相注入（PATI）的新型训练策略，将教师强制和滚动预测策略相结合。在训练初期，模型使用实际真实值数据（即预测量）进行下一步预测，随着训练的进行，对真实值的依赖逐渐减少，模型逐渐从使用完美输入学习转变为使用自身预测作为下一步输入，最终仅依赖先前输出进行滚动预测，从而有效处理复杂多变量预测任务。
3. 集成梯度方法 ：为了解决 DL 模型可解释性不足的问题，研究引入了集成梯度方法。该方法通过建立从基线（不含任何模型预测信息的起点）到实际输入预测变量的线性路径，在路径上的所有点计算模型输出相对于输入的梯度，然后累积这些梯度来计算积分梯度，从而评估输入预测变量对模型输出的重要性，为理解模型预测背后的物理机制提供了客观且全面的分析手段。
（四）实验数据
1. CMIP6 模拟数据 ：为了满足 DL 模型对大量数据的需求，研究纳入了来自耦合模型比较计划第 6 阶段（CMIP6）的多个气候模型模拟数据。3D-Geoformer 使用了 1850 - 2014 年的历史模拟数据，这些数据来自 23 个参与 CMIP6 的气候模型。
2. 再分析数据 ：验证数据集包括简单海洋数据同化（SODA）产品（1871 - 1979 年）和海洋再分析系统 5（ORAS5）产品（1958 - 1979 年）。测试数据集则取自全球海洋数据同化系统（GODAS）（1980 - 2023 年）。所有输入数据都经过预处理，以确保一致性，包括去除气候学季节循环和长期趋势，仅保留年际异常，并将异常插值到规则网格上。
（五）研究结果
1. ENSO 预测性能 ：3D-Geoformer 在 1983 - 2023 年的测试期间，对 Niño3.4 SST 异常的预测表现出色，能够提前 20 个月准确预测大多数主要的拉尼娜事件和厄尔尼诺事件的相位和强度，但在 1991 - 1992 年厄尔尼诺、2010 - 2011 年拉尼娜和 2020 - 2022 年三重拉尼娜的预测中准确性较低。此外，模型预测存在相对于观测的几个月滞后倾向，即 “目标期滑移”。1999/2000 年左右 ENSO 性质发生年代际变化后，2000 年代后的 ENSO 可预测性显著下降，3D-Geoformer 在此之前的 ENSO 事件有效预测提前期超过 20 个月，之后则降至一年。
2. 多变量预测分析 ：3D-Geoformer 对 SST 和风应力异常的预测与观测值高度吻合，能够准确捕捉测试期间大多数 ENSO 事件的 SST 异常的相位、位置和强度，包括超级厄尔尼诺事件和特殊 ENSO 事件。并且模型能够有效表征热带太平洋 SST 和风应力异常的协同演变，包括厄尔尼诺期间的西风异常和拉尼娜期间的东风异常。
3. 与 NMME 模型比较 ：在与北美多模式集成（NMME）产品的比较中，3D-Geoformer 在热带太平洋大部分地区的 SST 预测技巧优于动力学模型，且随着提前期的增加，差异更加显著。但在北中部和东南部热带太平洋，其 SST 预测技巧略低于动力学模型。
4. 可解释性分析 ：以 2021 年中期太平洋 SST 异常预测为例，通过集成梯度方法生成的温度预测变量的显著性图揭示了对 2021 年中期 Niño3.4 SST 异常预测至关重要的关键预测变量和潜在过程。分析表明，3D-Geoformer 成功预测了 2020 年末的拉尼娜事件和 2021 年中期的 SST 转折，其预测的 SST 和风应力异常在 6 个月提前期预测中呈现出规律的模式和较弱的异常。进一步的敏感性实验表明，通过集成梯度方法识别的敏感区域中的温度预测变量是准确预测 ENSO 的关键先兆。
| 
发表于