矩阵正交化提升循环模型记忆能力
原标题：Matrix Orthogonalization Improves Memory in Recurrent Models
速览
该研究针对循环神经网络中记忆能力受限的问题，提出在训练过程中对权重矩阵施加正交化约束。实验表明，这一方法能显著改善模型对长序列信息的保持能力，在多个语言建模和序列预测任务上取得性能提升。正交化操作计算开销小，易于集成到现有循环架构中。
AI 深度解读
背景
当前，Transformers 在关联召回（Associative Recall, AR）方面展现出卓越的能力，这得益于其注意力机制——每个 token 都可以直接访问其之前的 token。然而，这种机制带来的二次复杂度开销在某些特定领域是无法承受的，例如在 Dreamer 风格的长时程强化学习（Long-h
查看原文 →ayushtambde.com