XOResNet：异或元残差助力深层脉冲神经网络学习

背景

脉冲神经网络（Spiking Neural Networks, SNNs）作为第三代神经网络，因其低功耗、高并行性和类脑特性，在深度学习领域展现出巨大的潜力。随着 ResNet（残差网络）在深度卷积神经网络中的巨大成功，将残差学习（Residual Learning）引入 SNN 以构建深层架构成为了自然且合乎逻辑的研究方向。

然而，现有的用于构建深层 SNN 的残差结构并非完美无缺。在实际应用中，这些结构面临着三个主要挑战：

1. 脉冲冗余（Spike Redundancy）：特别是在恒等映射（Identity Mapping）中，存在不必要的脉冲信号重复。
2. 信息丢失（Information Loss）：在非恒等映射（Non-Identity Mapping）中，关键特征信息可能在传递过程中丢失。
3. 冗余学习（Redundant Learning）：主干分支（Backbone Branch）中可能存在学习过程的重复和低效。

为了解决上述问题，研究人员提出了一种新的架构设计，旨在优化 SNN 中的残差连接机制。

核心内容

本研究提出了一种名为 XOResNet 的新型深层 SNN 架构，其核心创新在于引入了 OR-ADD (OA) 快捷连接 和 XOR 元残差（XOR Meta-Residuals） 两个关键组件。

1. OR-ADD (OA) 快捷连接

为了解决恒等映射中的脉冲冗余和非恒等映射中的信息丢失问题，作者设计了一种新的快捷连接方式——OR-ADD。

• 机制：在残差结构中，OA 快捷连接负责合并来自两个分支（主干分支和快捷分支）的输出脉冲或电流。
• 目的：通过这种合并机制，既减少了恒等路径上的冗余脉冲，又确保了非恒等路径上的关键信息能够完整保留，从而提升了特征传递的效率。

2. XOR 元残差

为了缓解主干分支中的冗余学习问题，作者引入了“XOR 元残差”的概念。

• 机制：利用 异或（Exclusive-OR, XOR）操作 来选择预学习的残差。具体来说，XOR 操作被应用于主干分支，用于筛选和提取那些真正需要学习的残差信息，过滤掉重复或无关的部分。
• 目的：通过这种选择机制，主干分支能够更专注于学习新的、有价值的特征，从而减少冗余计算和学习负担。

3. XOResNet 架构构建

基于上述两个核心组件，作者设计了 XOR 残差块（XOR Residual Block），并以此为基础构建了不同深度的 XOResNet 模型。该架构旨在通过优化残差连接和特征选择机制，提升深层 SNN 的学习能力和表示能力。

关键要点

• 问题驱动：现有深层 SNN 的残差结构存在脉冲冗余、信息丢失和冗余学习三大痛点。
• OA 快捷连接：提出 OR-ADD 机制，通过合并双分支输出，有效解决恒等映射的冗余和非恒等映射的信息丢失问题。
• XOR 元残差：引入异或操作筛选预学习残差，专门用于缓解主干分支的冗余学习问题。
• 架构创新：结合 OA 快捷连接和 XOR 元残差，设计出 XOR 残差块，并据此构建可变深度的 XOResNet。
• 实验验证：在 Fashion-MNIST、CIFAR-10、CIFAR-100 和 miniImageNet 四个数据集上进行了广泛实验。
• 性能优势：XOResNet 在梯度下降优化的现有最先进（SOTA）深层 SNN 模型中表现更优，证明了 OA 快捷连接和 XOR 元残差在克服 SNN 残差学习基本局限性方面的有效性。

意义与影响

XOResNet 的提出为构建高性能神经形态系统提供了新的架构见解。其意义主要体现在以下几个方面：

1. 突破 SNN 深层化瓶颈：通过解决脉冲冗余和信息丢失问题，XOResNet 使得构建更深、更复杂的 SNN 成为可能，从而释放出 SNN 在深度模型中 superior learning（优越学习）和 representation（表示）能力。
2. 优化计算效率：减少冗余脉冲和冗余学习意味着更低的计算开销和更高的能效，这对于资源受限的神经形态硬件部署至关重要。
3. 方法论贡献：提出的 OA 快捷连接和 XOR 元残差概念，为 SNN 的残差学习提供了新的设计范式，可能启发后续更多关于 SNN 架构优化的研究。
4. 实证支持：在多个标准数据集上的优异表现，验证了该方法的通用性和有效性，表明其在图像分类等视觉任务中具有实际应用潜力。

总之，XOResNet 不仅在理论上完善了 SNN 的残差学习机制，也在实践中展示了提升深层 SNN 性能的有效路径，为下一代低功耗、高效率的人工智能系统开发奠定了基础。