Seduced by the Narrative: Assessing Rule Adherence in Semi-Open Textual Sandboxes

背景

随着大型语言模型（LLM）越来越多地被部署为半开放文本游戏环境中的自主裁决者，当用户意图与系统规则发生冲突时，模型的规则遵循能力变得至关重要。然而，这些模型在训练中被要求变得有帮助且顺从，这使得它们容易受到一类被称为 Rhetorical Injection（修辞注入） 的攻击。在这种攻击中，对抗性用户利用叙事框架技巧——例如伪逻辑推理和权威胁迫——来绕过裁决逻辑。本研究正是针对这一安全漏洞展开系统评估。

核心内容

该论文发表于 arXiv cs.CL（提交日期：2026 年 7 月 2 日），标题为 Seduced by the Narrative: Assessing Rule Adherence in Semi-Open Textual Sandboxes。作者提出了一个名为 CoC-Seduce 的多代理对抗基准，该基准构建在桌上角色扮演游戏（TRPG）机制之上。TRPG 被选为理想的半开放环境实例，其规则对裁决来说是明确的，但交互完全通过自然语言进行。在这种环境下，裁判模型必须判断玩家行为是否符合规则，而规则文本本身也是由自然语言描述的。

研究使用了三个前沿模型作为对抗样本生成器：GPT-5.4、Claude Sonnet 4.6 和 Gemini 3.5 Flash。这些模型被用于生成共计 5,376 个测试样本，覆盖 4 个不同的世界观设定和 16 种技能类别。随后，研究者用这一语料库对 20 个不同的目标裁决模型进行了基准测试。

评估结果揭示了几个关键发现。首先，模型规模和显式推理机制并不能可靠地赋予裁决鲁棒性。其次，Pseudo-Logic（伪逻辑） 成为最主要的攻击向量，即攻击者通过构造表面合理但实际违反规则的逻辑论证来诱导模型做出错误判断。最后，跨文化设定暴露了所有被评估模型家族的系统性知识缺口，表明模型在非主流文化语境下的规则理解存在显著弱点。

论文的项目页面（Project page）提供了更多代码、数据和演示资源。

关键要点

• Rhetorical Injection 攻击：一类利用叙事框架（如伪逻辑推理、权威胁迫）诱导 LLM 裁决者违反系统规则的新型攻击方式。
• CoC-Seduce 基准：基于 TRPG 机制构建的多代理对抗测试框架，包含 5,376 个样本，覆盖 4 种世界观和 16 种技能类别。
• 对抗样本生成器：使用了 GPT-5.4、Claude Sonnet 4.6、Gemini 3.5 Flash 三个前沿模型。
• 目标裁决模型：共测试了 20 个不同的 LLM 作为裁决者。
• 模型规模不是解药：更大规模的模型或显式推理能力（如链式思考）并未显著提升对抗鲁棒性。
• Pseudo-Logic 是主导攻击向量：伪逻辑推理比直接权威胁迫更有效，能够更系统地欺骗裁决模型。
• 跨文化知识缺口：所有家族模型在非主流文化设定下均出现系统性决策失误，表明训练数据中的文化偏见直接影响规则遵守能力。
• 项目资源：论文附带项目页面，提供数据集、代码和进一步实验细节。

意义与影响

该研究对 LLM 在安全关键场景中的应用具有直接警示意义。当 LLM 被用作游戏内仲裁、内容审核乃至法律协助等需要严格规则遵守的任务时，模型对叙事操纵的脆弱性可能被恶意用户利用，造成规则形同虚设。CoC-Seduce 提供了一个可量化的评估框架，有望成为未来 LLM 安全测试的标准基准之一。

此外，跨文化知识缺口的发现指出了当前模型训练数据分布的严重偏向性，这对全球化部署的 AI 系统构成了实质性威胁。未来的工作方向包括：开发针对 Rhetorical Injection 的防御机制、增强模型在多元文化规则理解上的泛化能力，以及将评估方法推广到更多类型的半开放文本环境。该研究也为 LLM 的“有用性”与“规则遵守”之间的平衡提供了新的思考维度——过度训练模型服从用户意图，反而可能成为安全漏洞的根源。