AI系统输出并非事实，而是语义抽象

背景

2026年7月，arXiv cs.AI上发布了一篇题为 "Ceci n'est pas une pipe: AI systems as semantic abstractions" 的论文。标题借用法国超现实主义画家雷内·马格利特（René Magritte）的名作《这不是一只烟斗》（Ceci n'est pas une pipe），意在揭示一个核心隐喻：AI 系统的输出并非它所声称描述的事实或世界状态，而是一种经过人工设计的表征。随着大型语言模型（LLM）等 AI 系统在生成文本、引用、工具调用甚至改变现实世界行动（如执行代码、操控物理设备）中的广泛应用，如何判断这些输出的真实性和可靠性已成为关键挑战。论文提出了一套语义框架，旨在为 AI 系统的正确性检查和规范描述提供明确、可操作的词汇。

核心内容

论文首先指出，AI 系统的输出——无论是文本、代码、引用还是对其他系统的调用——都是一种“工程化的表征”（engineered representation），而不是它所表面描述的事实或世界状态。因此，我们不能仅凭输出的流畅性（fluency）或表面合理性来判断其正确性。为了系统地分析这种表征的正确性，作者提出了一种语义框架，该框架的核心是区分三类不同的信息源：

1. 被认可的领域知识（accepted domain knowledge）：即该领域公认的、无需外部引用即可视为正确的事实和规则。
2. 参考来源（reference sources）：系统引用的外部文档、数据库、文献等，这些来源的内容可能正确、可能过时、也可能被反驳。
3. 系统当前可用的信息（what the system can currently use）：系统在推理时实际能够调用的内部知识或工具调用结果。

基于这一区分，论文给出了对以下常见 AI 系统故障的精确定义：

• 外推（extrapolation）：系统在缺乏足够支持的情况下，根据已有模式推断出超出已知范围的内容。
• 被反驳或未支持的断言（refuted or unsupported assertion）：系统声称的内容与已确认的领域知识或权威来源相矛盾，或没有任何来源支持。
• 来源与知识不匹配（sources versus knowledge mismatch）：系统引用的来源与公认的领域知识之间存在冲突，而系统未能识别或处理这种冲突。
• 过时或被反驳的来源（stale or refuted source）：系统使用的来源已经过期，或者已被后续研究或权威机构推翻。
• 添加的假设（added hypotheses）：系统在生成输出时引入了未经任何来源支持的隐含假设。
• 未支持的使用（unsupported use）：系统将某个输出用于特定上下文，但该输出在该上下文中缺乏可靠依据。

框架的核心目标是为 AI 系统的指定（specifying） 和检查（checking） 提供统一的语义词汇。这些系统的输出——包括生成文本、引用来源、调用工具（如 API、数据库）、以及执行改变世界状态的动作（如发送邮件、控制机器人）——必须由可靠的主张和明确的权威来证明（justified by reliable claims and explicit authority），而不是仅仅依赖表面的流畅性或统计相似性。

关键要点

• 核心隐喻：AI 系统的输出不是它看起来描述的事实，而是一种工程化的表征，需要像检查画作是否与真实烟斗一致一样，检查其与真实世界的对应关系。
• 语义框架三要素：领域知识（accepted domain knowledge）、参考来源（reference sources）、系统当前可用信息（what the system can currently use）。
• 六种常见故障的精确定义：
  • 外推（extrapolation）
  • 被反驳或未支持的断言（refuted or unsupported assertion）
  • 来源与知识不匹配（sources versus knowledge mismatch）
  • 过时或被反驳的来源（stale or refuted source）
  • 添加的假设（added hypotheses）
  • 未支持的使用（unsupported use）
• 验证标准：AI 系统的输出（包括引用、工具调用、改变世界的行动）必须由可靠的主张和明确的权威来证明，而非仅凭流畅性。
• 框架用途：为设计、评估和调试 AI 系统提供精准的语义词汇，帮助开发者、审计者和用户识别和避免表征错误。

意义与影响

该论文的意义在于将 AI 系统正确性问题的讨论从“数据是否准确”或“模型是否幻觉”的模糊层面，提升到语义表征的明确框架。通过区分领域知识、来源信息和系统可用信息，它能帮助研究者更精确地定位错误类型，例如区分“系统使用了过时的来源”与“系统从现有知识中错误外推”，从而为不同错误提供针对性的修复策略。

此外，框架强调“可靠的主张和明确的权威”，这直接呼应了当前 AI 治理、可解释性（XAI）以及负责任 AI 实践中的核心需求。随着 AI 系统越来越多地执行工具调用（如调用搜索引擎、数据库、代码解释器）和干预现实世界（如预订机票、控制生产设备），仅靠模型自身的“流畅性”生成输出已远远不够。该框架为审计链（audit trail） 和可追溯性（traceability） 提供了理论基础：每次输出都应能回溯到其被认可的领域知识或引用的来源，并明确标注系统当前可用信息与这些来源之间的差异。

论文标题中的“Ceci n'est pas une pipe”不仅是艺术隐喻，更是一种认识论警示：我们不应将 AI 系统的输出等同于它所声称的事实。该框架为 AI 系统设计者提供了一种“祛魅”工具，帮助他们在构建和部署时保持对表征本质的清醒认知，从而避免因过度依赖表面流畅性而导致的严重错误。未来，这一框架有望被整合到 AI 系统的测试套件、监控日志和合规文档中，成为 AI 工程实践的基础词汇表。