李群批归一化框架LieBN

背景

在机器学习任务中，流形值（manifold-valued）数据越来越常见，例如对称正定（SPD）矩阵、旋转矩阵、相关矩阵等。这些数据具有独特的几何结构，传统欧氏空间中的深度神经网络（DNN）无法直接处理。近年来，研究者将 DNN 扩展到流形上，并配套设计了适应不同几何结构的归一化技术，统称为 Riemannian normalization（黎曼归一化）。然而，现有 Riemannian 归一化方法大多存在局限：要么只针对特定流形设计，泛化性不足；要么无法有效归一化流形上的样本分布，导致训练不稳定或性能下降。针对这些不足，该工作提出了 LieBN——基于李群（Lie groups）的 Riemannian 批量归一化框架。

核心内容

LieBN 的核心思想是借助李群上天然存在的左不变度量（left-invariant metric）和右不变度量（right-invariant metric），为流形上的批量归一化提供理论基础。这些度量在数学上具有良好的对称性，使得算法能够自然地控制 Riemannian 均值与方差，并给出理论保证——即经过 LieBN 变换后，样本的 Riemannian 均值与方差可被调节至目标值。

研究者在九种不同的几何结构上实例化了 LieBN 框架：

• SPD 流形上的四种度量：其中一种为作者新提出的右不变度量（right-invariant metric），另外三种则通过矩阵幂变形（matrix power deformation）将已有的李群结构扩展至更通用的形式。
• 旋转矩阵群（SO(3)）上的一种度量：旋转群是典型的李群，LieBN 在此场景下同样适用。
• 满秩相关矩阵流形上的四种度量：满秩相关矩阵具有特定的几何约束，LieBN 为这类流形提供了统一的归一化方案。

实验部分，团队在多个不同流形上验证了 LieBN 的有效性，表明该框架能够显著优于或匹配现有 Riemannian 归一化方法。所有代码已开源。

关键要点

• LieBN 是首个对李群上的 Riemannian 批量归一化给出通用形式化定义的框架，不局限于单一流形。
• 利用李群的左/右不变度量，使得归一化操作在几何上具有坐标不变性，理论更简洁、实现更稳定。
• 该方法直接控制 Riemannian 均值与方差，并提供了数学上的收敛性保障，解决了以往方法中归一化效果不稳定的问题。
• 在九种不同几何结构上进行了实例化，覆盖了机器学习中最常见的三大类流形：SPD 流形、旋转群、满秩相关矩阵流形。
• 新提出一种右不变度量应用于 SPD 流形，并通过矩阵幂变形将三种已有李群结构扩展，丰富了 SPD 流形上的几何工具。
• 实验验证了 LieBN 在多种流形上均能有效提升模型性能，且代码已公开。

意义与影响

LieBN 填补了 Riemannian 归一化领域的一个关键空白：过去的方法要么针对特定流形手工设计（如 SPDNet 中的均值平移），要么无法保证归一化后的分布统计特性。LieBN 利用李群的代数结构，提供了一种统一、理论严谨、易于扩展的解决方案。这将对几何深度学习（Geometric Deep Learning）产生直接推动，尤其是在处理 SPD 矩阵、姿态、相关矩阵等数据的任务中（如脑电图信号分析、雷达目标检测、机器人运动学、结构化协方差建模等）。此外，作者开源的代码使得其他研究者能够快速复现并应用到自己的流形数据上，进一步促进了该领域的实用化。该工作还提示，李群上的归一化可以与其他几何操作（如测地距离、指数映射）深度结合，为未来设计更强大的流形神经网络指明了方向。