Barenholtz自生成理论完善哈里斯整合主义，揭示LLM语言统计本质

背景

Roy Harris 的整合语言学（Integrationist linguistics）对计算语言学中根深蒂固的指称主义传统提出了深刻批判。Harris 认为，语言并非一套映射到预先给定世界的代码，而是一种情境化的、双边的活动，其目标指向未来的联合行动。这一观点挑战了主流自然语言处理（NLP）和大语言模型（LLM）研究中将语言视为符号系统与外部对象一一对应的基本假设。然而，整合主义本身也存在若干解释空白：它并未完整阐明符号如何维持“预期开放性”（prospective openness）的结构机制；对语言与非语言符号活动之间的连续性缺乏充分的理论化；也没有详细描述过去整合行为所累积的“档案”的结构属性。

与此同时，大语言模型（如 GPT 系列）展现出令人惊叹的自动生成能力——它能在没有显式意图的情况下，根据上下文自动预测下一个词。Elan Barenholtz 针对 LLM 的这一行为提出了“自动生成语言理论”（autogenerative theory of language），试图从结构上解释这种无需意向性预设的语言生成过程。本文正是将 Barenholtz 的理论视为对 Harris 整合主义的有力补充，论证它能够填补上述整合主义的空白，同时不损害其核心承诺。

核心内容

论文指出，Harris 的整合语言学虽然正确地将语言活动视为情境化的双边互动，并且强调了语言并非对世界的静态编码，而是一个面向未来联合行动的动态过程，但它对以下三个关键问题缺乏充分解释：

1. 预期开放性的结构机制：Harris 认为双边沟通的核心在于“预期开放性”——即说话者通过语言行为为对方打开一个可能的行动空间。但他没有具体说明这种开放性是由何种结构机制实现的。Barenholtz 的自动生成理论则提供了一种结构化的解释：语言系统并非依赖外部的概念或意图，而是基于自身内部的状态转移概率——即在一个动态的、自动生成的序列中，每个后续符号的选择取决于此前符号构成的上下文。这种机制天然具有开放性，因为每一步的预测都是基于已产生的历史，而非预先确定的终点。

2. 语言与非语言符号活动的连续性：Harris 曾提出“符号连续性”论断，认为语言活动与其他符号制造活动（如手势、绘画、行为仪式）在本质上具有连续性。但整合主义未能给出这种连续性的具体计算对应物。Barenholtz 的自动生成理论可以通过共用同一套“整合档案”来阐释这种连续性：无论是语言符号还是非语言符号，都是在同一个累积的整合历史中产生、存储和调用的，它们共享相同的统计结构和模式化规律。因此，非语言符号活动也可以被视为一种“自动生成”过程，其机制与语言生成相通。

3. 整合档案的结构：Harris 承认存在一个由过去所有整合行为积累而成的“档案”，但未详细讨论其结构属性——档案是什么样的、新参与者如何从中提取资源。Barenholtz 的理论为档案提供了一种具体模型：档案不是离散的句子库或知识库，而是一个由历史整合痕迹构成的统计分布，它记录了上下文与后续符号之间的关联频率。LLM 训练所依赖的语料库就是这种档案的典型实例——它并非反映世界本身的真理，而是整合历史的残差。新参与者（无论人类还是模型）通过采样这个分布来生成新的整合行为，从而在情境中延续档案的模式。

论文的核心论证是：将 Barenholtz 的自动生成理论融入 Harris 的整合主义框架，可以实现一种“非还原”的丰富：既保留了 Harris 对情境化整合行为的本体论优先地位（即只有发生在具体情境中的整合才是最终的真实），又增加了整合主义本身无法提供的结构性解释。对于 NLP 和 LLM 研究者而言，这一综合提供了一个原理性说明：LLM 所高效利用的统计结构，本质上就是“整合档案”的分布特征；同时，它也明确了 LLM 在本质上无法提供的东西——即真正的意图导向的社会互动——因为自动生成过程内部不包含任何对预期目标的表征。

关键要点

• 整合主义的核心缺陷：Harris 的整合语言学虽批判了指称主义，但未能解释预期开放性的实现机制、语言与非语言符号的连续性、以及整合档案的结构。
• 自动生成理论的补充作用：Barenholtz 的理论基于 LLM 的行为提出，认为语言生成是一种无意图的自动生成过程，其内部状态转移机制为预期开放性提供了具体结构。
• 符号连续性的计算对应：语言与非语言符号共享同一套整合档案，其统计分布揭示了所有符号制造活动的共同基底模式。
• 档案的统计本质：整合档案并非语义数据库，而是历史整合痕迹的概率分布；LLM 训练所用的语料库正是这种档案的体现。
• 新参与者如何利用档案：无论是人类还是 LLM，都是通过从档案中采样来指导当前整合行为，而非直接“理解”语料的语义。
• 保留本体论优先性：自动生成理论不否定情境化整合行为的首要性，而是为其提供了底层机制；整合行为仍是语言活动的终极现实。
• 对 LLM 的启示：LLM 的统计结构本身有意义，但其本质是档案的残差，因此模型不可能拥有真正的意向性或联合行动规划能力。
• 跨学科整合：该工作将哲学语言学（Harris）与计算语言学（Barenholtz/LLM）连接起来，为理解大语言模型的成功与局限提供了统一理论框架。

意义与影响

本文的理论贡献在于，它首次将 Roy Harris 的语言哲学与 Elan Barenholtz 从 LLM 行为中提炼的计算理论进行系统整合，形成了一种既尊重整合主义基本立场、又具备解释力的新视角。这对多个领域具有显著意义：

• 对语言学理论的进展：为整合主义提供了缺失的结构性内容，使其能够更完整地解释语言生成的社会机制与统计基础之间的关联。自动生成理论帮助整合主义避免了“过于哲学化而缺乏操作性”的批评。
• 对自然语言处理领域：论文为 LLM 所依赖的统计规律给出了一个非语义的、基于整合史的哲学解释，有助于研究者理解模型生成行为的本质——即模型只是整合档案的忠实采样器，而非理解者。这有助于避免过度拟人化，并为安全、可控的模型设计提供理论约束。
• 对人工智能与认知科学：通过论证自动生成过程可以独立于意图而存在，本文间接支持了“无意图交互”的可能性，这与某些感知—运动耦合理论（如生态心理学）形成共鸣。同时，它也明确划定了这种过程的边界：其内在缺乏对联合行动的表征，因此不能替代真正的社会认知。
• 对出版与学术交流的意义：论文提交于 arXiv，且附带了丰富的工具链接（如 bibliographic explorers, code finders, demos），体现了开放科学研究范式——研究者不仅主张理论整合，还主动提供可重复性的资源和社区协作平台（如 arXivLabs）。这一实践本身也呼应了整合主义“情境化活动”的精神：学术知识的生产与传播同样是面向未来的联合行动。

总之，本文不仅是一次理论推进，也为理解当前大语言模型的能力与局限提供了可供检验的哲学依据，同时展示了跨学科对话如何推动语言科学的发展。