联合Top-K稀疏自编码器实现跨种子特征统一

背景

可解释性（mechanistic interpretability）是深度学习领域的重要研究方向，旨在理解神经网络内部的计算机制。一个核心挑战是“跨随机种子特征通用性”（cross-seed feature universality）：由于词典学习（dictionary learning）是非凸优化问题，不同随机种子下独立训练的神经网络（例如 BERT）会学出互不对齐的特征空间。即使两个模型在功能上学习到了“相同”的抽象特征，这些特征在激活空间中的表示也可能因随机初始化不同而产生偏移，导致无法直接跨模型迁移或对比。现有的后对齐（post-hoc alignment）方法虽然能缓解这一问题，但通常只能实现有限的对齐质量。本文提出一种结合 Procrustes 条件化与端到端联合训练的方法，旨在系统性地提升跨种子特征通用性。

核心内容

论文（arXiv cs.CL，2026年7月提交）提出一种“Procrustes 条件化联合端到端 Top-K 稀疏自编码器”（Procrustes-conditioned Joint End-to-end Top-K Sparse Autoencoder，简称 SAE），用于从独立训练的 BERT 模型中提取跨种子的通用特征。方法的核心流程如下：

1. Procrustes 旋转：在联合训练 SAE 之前，对两个种子模型（即两个独立训练的 BERT）的激活空间计算一个正交 Procrustes 旋转矩阵，将其中一个模型的激活空间旋转到与另一个模型尽可能对齐（最小化均方误差），从而消除随机初始化导致的线性偏移。

2. 联合稀疏自编码器训练：将旋转后的两个激活空间输入一个共享的 Top-K 稀疏自编码器（Top-K SAE），该编码器的每一层仅保留 top-K 个最强激活单元，从而强制学习稀疏、可解释的特征。

3. 端到端下游优化：将 SAE 的训练与下游任务（如情感分析、礼貌度检测、情绪识别）的损失函数联合优化，使学到的特征既稀疏可解释，又能保持对下游任务的预测能力。

4. 死亡特征复活损失（dead-feature revival loss）：基于先前 SAE 文献，引入辅助损失来复活在训练过程中停止激活的“死亡特征”，防止特征稀疏性导致表达力退化。

实验设置：在五个独立种子对（共十个 BERT 模型）上，使用三个基准数据集（SST-2 情感分析、Stanford Politeness 礼貌度、TweetEval Emotion 情绪识别）进行评测。与基线方法（仅使用后对齐）对比，完整管线在所有三个数据集上均实现了更高的跨种子特征通用性（Pearson 相关系数 ≥ 0.70）。定性分析进一步确认，高通用性特征编码了可解释的社会语言学模式（例如某种礼貌表达或情绪词汇的激活模式）。

关键要点

• 核心问题：随机初始化导致不同种子模型学出的特征空间不对齐，阻碍了跨模型可解释性研究。
• 方法创新：在联合训练稀疏自编码器之前，先通过正交 Procrustes 旋转对齐激活空间，将对齐作为条件化步骤融入端到端框架。
• 技术组合：Top-K 稀疏自编码器 + 端到端下游损失 + 死亡特征复活损失，三者协同提升特征通用性和可解释性。
• 实验规模：5 个独立种子对（10 个 BERT 模型），覆盖三个不同领域的数据集（情感、礼貌、情绪）。
• 性能指标：跨种子特征相关系数（Pearson r）≥ 0.70，超越所有后对齐基线。
• 定性验证：高通用性特征对应可解释的语言学或社会语言学模式，而非噪声或随机模式。

意义与影响

• 方法论贡献：为机械可解释性中的特征对齐问题提供了一种系统性的端到端解决方案，将旋转对齐从后处理阶段前置为训练条件，实现了更紧密的联合优化。
• 实用价值：研究者可以用此方法从多个独立训练的模型（例如不同公司发布的 BERT 变体）中提取共享的、可解释的特征，从而更可靠地比较和迁移不同模型学到的概念。
• 技术可复现性：该方法基于已知的 SAE 技术（Top-K 稀疏性、死亡特征复活）和经典线性对齐技术（Procrustes），组合简单且可集成到现有可解释性管线中。
• 潜在局限：论文仅验证了 BERT 系列，未扩展到更大模型（如 Llama 类）或其他架构（如 CNN/Transformer 变体）；Procrustes 旋转假设线性对齐关系，若特征空间之间存在非线性扭曲，则可能失效。未来工作可探索非线性对齐（如正交变换后加非线性层）或跨架构通用特征提取。