带门控关联检索的通用三重潜在压缩技术
原标题：Generic Triple-Latent Compression with Gated Associative Retrieval
速览
该研究提出了一种通用三重潜在序列模型，旨在无需特定基准解析的情况下，通过维护运行令牌状态和压缩成对记忆路径来捕捉高阶令牌交互。实验显示，该模型在字节级WikiText-2和基于分词器的MiniMind基准上优于小型Transformer基线。此外，引入的基于召回的门控键值检索扩展增强了关联记忆能力，但当前实现仍存在种子敏感性和速度较慢的问题。
AI 深度解读
AI 正在阅读原文并生成深度解读…（首次约 20–40 秒，之后秒开）
查看原文 →arxiv.org