评估 Transformer 与 LSTM 框架在未测流域预测中的应用

背景

流域网络呈现出一种汇聚拓扑结构，其中多条支流汇入下游河道，整合了来自上游的多样化水文过程。在“未测流域”（Ungauged Basins，即缺乏直接观测数据的区域）中，由于缺乏直接观测数据，预测的不确定性显著增加，这严重限制了我们对极端水文事件（如洪水或干旱）的预判能力。

随着深度学习在时间序列预测领域的广泛应用，基于注意力机制的 Transformer 架构和基于循环神经网络的 LSTM（长短期记忆网络）成为主流选择。然而，水文数据具有独特的物理约束和时空相关性。本研究旨在探讨在有限的水文信息条件下，仅使用编码器（Encoder-only）结构的 Transformer 是否在推断上游径流方面优于 LSTM。研究利用美国国家海洋和大气管理局（NOAA）国家水文模型（NWM）的回顾性模拟数据进行了评估。

核心内容

本研究并非单纯地进行模型性能的“排行榜”式对比，而是将实验视为对水文序列推断任务中“架构归纳偏置”（Architectural Inductive Bias）的一种测试。研究主要围绕以下两个配置展开：

1. 仅上游配置（Upstream-only configuration）：仅利用上游水文数据进行推断。
2. 组合配置（Combined configuration）：同时利用上游和下游水文数据进行推断。

研究对比了两种主流深度学习框架：

• LSTM：一种经典的循环神经网络，擅长捕捉序列中的长期依赖关系。
• Encoder-only Transformer：一种基于自注意力机制的架构，不包含解码器部分，通常用于特征提取或编码任务。

实验结果分析

• 整体性能对比：在两种配置下，LSTM 的整体表现均优于 Transformer 模型。这表明，在处理此类上游径流重建任务时，LSTM 的架构特性可能比 Encoder-only Transformer 更具优势。
• 下游信息的辅助作用：无论采用哪种模型架构，引入下游水文信息（Downstream information）均显著提升了预测性能。具体数据显示，引入下游信息后，中位数纳什效率系数（NNSE, Nash-Sutcliffe Efficiency）提升了超过 60%。

理论解读

研究认为，LSTM 的循环记忆机制（Recurrent memory）与上游水文重建任务具有更好的对齐性。相比之下，Encoder-only Transformer 在此类特定任务中未能展现出预期的优势。同时，下游水文上下文为预测提供了强有力的辅助约束（Auxiliary constraint），这种物理或统计上的约束能够显著改善不同架构下的预测技能。

关键要点

• LSTM 胜出：在有限水文信息条件下，针对未测流域的上游径流推断任务，LSTM 的整体性能优于仅编码器结构的 Transformer。
• 下游数据价值巨大：引入下游水文信息是提升预测准确率的关键因素，可使中位数 NNSE 提升超过 60%。
• 架构归纳偏置的重要性：实验结果暗示，对于水文序列推断，LSTM 的循环记忆机制比 Transformer 的自注意力机制更契合任务需求。
• 非排行榜式评估：研究重点不在于简单的性能排名，而在于理解不同架构归纳偏置对水文预测任务的影响。
• 数据来源：研究基于 NOAA 国家水文模型（NWM）的回顾性模拟数据，确保了数据的一致性和可靠性。

意义与影响

这项研究对水文建模和深度学习在地球科学中的应用具有重要的指导意义：

1. 模型选择的实证依据：尽管 Transformer 在许多自然语言处理和计算机视觉任务中表现卓越，但在特定类型的时间序列预测（如未测流域的水文推断）中，传统的 LSTM 可能仍然是更稳健的选择。这提醒研究人员在应用深度学习时，需考虑数据特性和任务本质，而非盲目追随最新架构。
2. 多源数据融合的价值：研究强调了“下游信息”作为辅助约束的强大作用。在实际应用中，即使目标区域是“未测流域”，如果能获取邻近或下游站点的观测数据，将极大提升预测的可靠性。这为构建更鲁棒的水文预测系统提供了思路。
3. 理解模型归纳偏置：通过将实验视为对归纳偏置的测试，该研究深化了我们对不同神经网络架构如何适应特定科学问题（如水文过程）的理解。未来的研究可以进一步探索如何改进 Transformer 架构，使其更好地适应水文数据的物理约束和时空特性。
4. 极端事件预测的改进：提高未测流域的预测能力，对于防灾减灾、水资源管理至关重要。本研究提出的方法（特别是利用下游信息）有助于降低不确定性，从而更好地应对极端水文事件。