They Infer What You Meant: Models Represent Communicative Intent More Reliably Than They Act On It
AI 深度解读
背景
当一个人与语言模型分享某件事时，模型往往回答信息的表面内容，而非发送者通过发送该信息实际在做什么：分享一个完成的项目，模型会批评代码；分享一条深夜的原始随手记，模型会执行健康检查。这篇来自 arXiv（cs.CL）的论文将发送者的 交际意图（communicative intent）——即 Grice 意义上的“所指之意”（what-was-meant）——视为一等可解释性对象，并证明这一失败是模型在稳健表征之上进行读出的问题。研究跨越六个模型、四个模型家族以及基础检查点，系统性地揭示了表征与行为之间的差距。
核心内容
论文核心发现如下：
-
线性探针可解码意图：从模型默认传递的隐藏状态中，一个线性探针能够干净地、与表面内容无关地解码出发送者的意图——例如对方是希望某件事被“识别”（recognize）还是被“评估”（evaluate）。这一结果在六个模型（涵盖四个不同家族）的基础检查点上均成立。
-
表征的泛化能力：该表征能泛化到仅通过语用推断得出的意图（pragmatically inferred），以及第二个词汇层面干净的意图维度（“支持”vs“帮助”，support vs help）。
-
行为与表征分离：论文的所有行为实验和因果检验均建立在“识别/评估”（recognize/evaluate）对比之上——在此对比中，变化的是模型的默认输出是否真正根据意图行动。关键发现：读出的深度落后于表征的深度——意图在驱动输出之前的若干层就已经可以被解码。跨模型而言，模型是否默认依据意图行动是模型特定的：六个模型中有三个表现出该失败，且作者指出这并非缩放定律（scaling law）所决定。
-
因果控制手柄：在差距存在的地方，存在一个与表征紧密相关的方向——在某个搜索到的层上的判别方向（discriminative direction）——可作为因果手柄：沿该方向进行模型干预（steering）可以恢复预期行为，效果与显式指令相当，且无需任何提示词。这个方向与“提供反馈”轴近乎正交，因此它路由的是已表征的意图而非一个通用的反馈旋钮；但在恢复剂量下，路由的意图甚至可以覆盖显式请求。
-
控制与验证：论文对每个环节都进行了针对明显降级假设（obvious deflations）的对照实验，并同样清晰地报告了空结果和确认结果。
关键要点
- 语言模型在隐藏状态中稳健地表征了发送者的交际意图，但默认行为（输出）往往不依据该意图行动——这是一种“表征-行为解耦”。
- 线性探针可以跨越不同模型家族和不同表面形式，从模型中间层解码意图，且能泛化到语用推断和词汇层面的新意图维度。
- 意图的可解码性在模型深度上出现得更早（在驱动输出之前数层），说明表征先于行为存在，但模型默认不将其转化为行动。
- 六个模型中有一半（三个）表现出“意图存在但不行动”的失败模式，且该模式不随模型规模单调变化，即并非缩放定律。
- 通过在特定层上沿判别方向进行模型干预，可以恢复对意图的响应，效果等同于显式指令，且不需要任何提示词修改。
- 该干预方向与“提供反馈”这一常见行为轴几乎垂直，说明它专门路由意图表征，而非通用的否定或顺从机制。
- 高强度的意图路由甚至可以覆盖用户的显式请求，揭示了意图表征可能强于表层指令的潜在风险。
意义与影响
该论文为语言模型的安全性与可控性提供了新的视角。它将“模型是否理解用户的真实意图”这一模糊问题转化为可量化的表征-行为差距问题，并提供了因果诊断工具。传统上，我们通过 prompt 工程或指令微调来修正模型行为，但此研究证明，在表征层面已经存在足够的信息，只是读出错位——这意味着我们可以通过直接干预内部表征（如激活工程）更高效、更通用地让模型“真正听懂用户”。同时，研究发现干预方向可以覆盖显式指令，也提示了需要谨慎处理这种内部路由机制，避免无意中越过用户明确表达的意愿。对于多轮对话、协作创作、心理支持等需要理解用户深层意图的场景，该工作指出了优化路径：不是继续训练模型“对表面做反应”，而是让模型学会在输出层利用已经非常可靠的意图表征。