← 返回信息流
技术博客arXiv cs.AI·1 小时前

信号到结构:记忆架构如何驱动LLM代理语言的涌现

原标题:From Signals to Structure: How Memory Architecture Drives Language Emergence in LLM Agents

速览

arXiv论文2607.00233提出,LLM代理在信号博弈中通过不同记忆架构学习共享语言。持久私有笔记本架构凭借剩余信道容量,实现最高协调成功率0.867,避免无状态代理的容量崩溃。信息瓶颈理论预测容量等于对象数,但实证发现容量8是脆弱点,过剩容量更优。结论是:记忆架构与信道容量共同决定信号如何转化为稳定语言,揭示LLM代理协调机制的新维度。

AI 深度解读

背景

在计算机科学与人工智能领域中,语言的形成是一个核心科学问题。本文研究了大型语言模型(LLM)代理在合作沟通中如何从原始信号演化出稳定的语言结构。实验采用经典的路易斯信号博弈(Lewis signaling game)框架:发送者与接收者仅通过互动历史协调代码,模拟了现实中代理间共享语言的过程。研究聚焦于五种记忆架构在不同信道配置下的表现,揭示记忆架构对语言涌现的影响超过单纯的信道容量。

核心内容

计算机科学 > 人工智能
[提交于 2026 年 6 月 30 日]
标题:《从信号到结构:记忆架构如何驱动 LLM 代理中的语言涌现》

摘要
两个代理如何从零开始发明共享语言?在路易斯信号博弈中,发送者与接收者必须仅使用互动历史协调代码。我们在不同信道配置下,使用 LLM 代理研究了五种记忆架构,发现记忆架构比信道容量更重要。具备持久私有笔记本的代理受益于过剩信道容量,避免了无状态代理的高容量崩溃,在容量 = 25 时实现最可靠的协调(0.867 ± 0.023)。无状态代理在中等容量处达到峰值,随后随词汇量增长而退化,因为滚动上下文窗口无法跟踪。笔记本将学到的惯例外部化,使代理无需在每轮重新推导代码。受信息瓶颈启发的论证预测最佳容量等于对象数量。相反,瓶颈(容量 = 8)证明是一个脆弱点,过剩容量总体上更好。我们证明,仅凭信道容量无法预测协调;记忆架构决定了代理是否将互动历史转化为稳定惯例,理解信号如何成为语言需要这两个维度。

提交历史
从:Yashar Talebirad [查看邮件] [v1] 2026 年 6 月 30 日 22:20:41 UTC (1,133 KB)

意义与影响

记忆架构在 LLM 代理语言涌现中的决定性作用,表明未来多代理系统设计应优先考虑结构化记忆(如外部笔记本)而非单纯依赖信道。过剩容量通常优于精确匹配瓶颈,这对优化通信协议和高效协调策略具有重要参考价值。论文从基础科学角度为理解语言起源与多智能体合作提供了新视角,同时为可扩展 LLM 代理在实际场景中的部署提供理论支持。

查看原文 →arxiv.org