提示到合约：企业级LLM代理的约束工程
速览
该论文提出一种约束工程方法，将提示驱动的LLM原型转化为可审计、可追溯的企业级代理架构，通过代码、清单、模式等确定性构件实现边界控制、实体路由、输出卫生和推荐语言合约。在五家韩国企业集团（25家上市公司）数据上验证了该方法在保持源接地、模型替换和代码保证方面的有效性，证明仅凭提示无法复现代码级别的安全与效用保障。该工作为探索性原型到可审计应用提供了可复用的工程模式。
AI 深度解读
背景
企业级大语言模型（LLM）应用通常从原型阶段起步，其行为完全依赖提示词（prompts）和检索上下文来驱动。然而，当原型进入产品化阶段时，新的需求随之涌现：数据源边界必须清晰，实体路由需要精准，答案输出要满足合约约束，而且整个执行过程必须可追溯、可审计。传统的纯提示词工程（prompt engineering）难以应对这些要求——提示词本身缺乏版本控制，行为不可枚举，且无法通过静态分析保证合规。这篇于2026年7月9日提交至arXiv（分类cs.AI）的论文，提出了一种“护栏工程”（harness engineering）方法，将这种临时性的提示词模式重构为可追踪、可审计的LLM智能体架构。
核心内容
论文的核心主张是：企业LLM应用的可靠性和可审计性不能仅靠提示词来保证，而应当通过一个精心设计的护栏（harness）——包含确定性代码、清单（manifests）、模式（schemas）和验证工件（validation artifacts）——来将行为约束在可替换的组合边界（composition boundary）之内。
具体架构如下：
- 确定性行为移入代码：所有非模型生成性的逻辑（如实体路由、源边界检查、输出格式强制）由代码实现，并固化为版本化的工件。
- 组合边界（composition boundary）：在模型中可控部分与不可控部分之间划出一条明确分界线。护栏一侧是代码拥有的可保证行为（code-owned guarantees），另一侧是模型生成的响应（model-composed side）。
- 源支撑声明（source-backed claims）：运行时答案必须以数据源作为最终权威，模型的幻觉被严格限制。
- 合约（contracts）：定义了五项关键合约——源锚定（source-grounding）、实体路由（entity-routing）、执行痕迹（trace）、输出卫生（output-hygiene）和推荐语言（recommendation-language）。护栏必须确保这些合约在所有验证场景下得到遵守。
论文在一个包含5个韩国企业集团（25家上市公司）的公共数据子集上进行了实验，评估了三个研究问题：
- （R1）合约保持能力：在固定的验证场景中，护栏完整保留了所有五项合约。通过故障注入控制（故意破坏合约），验证器能准确捕获违规行为。
- （R2）模型替换鲁棒性：在三个托管模型（具体模型未公开）替换实验中，护栏一侧在所有270次组合边界运行中全部通过；模型侧的失败被捕获并记录。
- （R3）代码所有权的重要性：固定模型不变，仅改变执行层。纯提示词指令会让推荐语言泄露和内部痕迹泄漏等违规行为直接暴露给读者；而护栏完全阻断了这些违规。另外，一个外部防护栏（bolt-on guardrail）虽然也能阻断违规，但会过度拒绝（over-refuse），将功能效用从120/120降至88/120，而护栏保留了全部效用（120/120）。该消融实验证明，只有代码拥有的强制执行能同时保证安全与效用。
论文最终总结：该模式可复用，能将探索性原型转变为带有版本化源码、控制和验证工件的可审计应用。
关键要点
- 护栏工程（harness engineering） 将提示词中隐含的、临时性的行为约定转化为可执行、可版本化的代码和工件。
- 组合边界（composition boundary） 是架构的核心：它把模型的不确定性隔离在边界一侧，而边界内部的确定性逻辑由代码保证。
- 五项合约（源锚定、实体路由、痕迹、输出卫生、推荐语言）提供了可度量的合规标准。
- 故障注入控制 证明了验证器能有效检测合约破坏案例。
- 模型替换实验 表明护栏的强制执行与具体模型无关，失败仅限于模型生成侧。
- 纯提示词方案 无法复现代码拥有的保证：提示词指令本身不足以阻止内部痕迹泄漏和推荐语言违规。
- 外部防护栏（如事后过滤） 虽然能阻断违规，但会因过度拒绝而损失效用；只有嵌入在架构中的代码强制执行才能同时保持安全性与可用性。
- 实验数据 来自韩国五大企业集团（25家上市公司），具有现实代表性。
意义与影响
本文为企业级LLM应用从原型到产品的转型提供了一种系统化、可复用的工程模式。其核心贡献在于：
- 弥补了提示词工程的短板：此前，企业依赖运维人员手动调整提示词来保持质量，但这种做法既不可审计又容易退步。护栏工程将关键约束固化，降低了运维负担。
- 提升了LLM系统的可信度：通过明确的合约和验证机制，企业可以对其输出进行审计，满足合规要求（如金融、医疗领域的信息可靠性）。
- 指导了架构设计：“组合边界”这一概念为设计可插拔、可替换的LLM智能体提供了清晰的分层原则。它鼓励将模型视为不可控但可隔离的组件，而非整个系统的核心依赖。
- 启示了新的研究方向：如何为不同的任务自动生成最优的护栏配置？如何在护栏内集成更复杂的实体路由逻辑？以及如何将这种模式扩展到多智能体协作场景？
当然，论文也留下了一些问题：护栏本身需要维护和版本化，其设计依赖领域专家的手动定义；实验仅覆盖一个韩国数据集，通用性有待验证；外部防护栏与内置护栏的取舍在不同场景中可能不同。但总体而言，该工作为企业LLM落地的工程化提供了务实而有力的参考。