迈向“代理优先”的 Web：为 AI 智能体重新设计互联网

背景

万维网（World Wide Web）自诞生以来，其底层架构、访问模型、经济模式以及内容呈现方式，均建立在一个长达三十年的核心假设之上：互联网内容的主要消费者是人类。

这一假设渗透到了互联网的每一个层级：

• 访问模型：预设访客为人类，依赖浏览器交互。
• 经济模式：建立在人类注意力经济之上（如广告点击、页面浏览量）。
• 内容呈现：针对人类的感知习惯进行优化（如复杂的排版、多媒体嵌入）。

然而，随着 AI 智能体（AI Agents）的迅速崛起，它们正逐渐取代人类，成为连接人类与网络内容的主要中介。这种变化使得上述核心假设失效。当前，互联网对智能体表现出明显的排斥性，具体表现为：

1. ** blanket blocking（全面封锁）**：许多网站直接拒绝非人类用户的访问。
2. CAPTCHA 排除机制：通过验证码阻碍自动化程序。
3. 经济模型错位：现有的商业模式将智能体的访问视为“数据提取”或“盗窃”，而非合法的交互行为。

面对这一结构性矛盾，本文提出了一套原则性的重新设计方案，旨在从访问层、经济层和内容层三个维度，为 AI 智能体构建一个“代理优先”（Agent-First）的互联网架构。

核心内容

本文提出了针对“代理优先”互联网的十项设计原则，涵盖以下三个关键层面：

1. 访问层（Access Layer）：赋予智能体平等的访问权

在访问层，核心目标是确立“代表人类的智能体应享有等同于人类的访问权利”这一原则。具体设计包括：

• HTTP 请求元数据：类似于浏览器头部信息（Browser Headers），在 HTTP 请求中引入“智能体识别元数据”。这使得服务器能够区分请求是来自人类用户还是代表人类操作的智能体。
• 速率限制（Rate Limiting）：通过技术手段对智能体的访问频率进行合理限制，防止资源滥用，同时保障合法交互。
• 双层内容架构：从同一个域名下，同时提供两种版本的内容：
  • 人类可读版本：面向人类视觉和交互习惯优化。
  • 智能体优化版本：面向机器解析、结构化数据提取和逻辑推理优化。 这种架构避免了将人类用户和智能体用户隔离在不同的子域或平台上，实现了资源的统一管理与分发。

2. 经济层（Economic Layer）：基于意图的层级框架

在经济层，文章提出了“智能体即人类代理”（Agent-as-Human-Proxy）的原则，即智能体的经济义务应与其所代表的人类用户保持一致。具体机制包括：

• 基于意图的层级框架（Intent-based Tier Framework）：根据用户（及其代理智能体）的意图和使用深度，划分不同的服务层级。
• 基于代币的订阅模型（Token-based Subscription Model）：
  • 摒弃传统的“页面浏览量”（Pageviews）计费方式，转而使用“代币”（Tokens）作为计量单位。
  • 这种模式更公平地反映了智能体对内容资源的实际消耗量（如解析了多少数据、生成了多少响应），而非仅仅计算访问次数。
• 委托内容经济（Commissioned Content Economy）：
  • 将 AI 内容生产锚定在“人类意图”之上。
  • 这意味着 AI 生成的内容不应是盲目的数据堆砌，而应是基于人类明确委托和意图的创作，从而确保内容生产的责任归属和价值导向。

3. 内容层（Content Layer）：对抗认知递归与知识脱节

在内容层，文章指出了当前面临的最大威胁：认知递归（Epistemic Recursion）。

• 认知递归的定义：这是一个自我指涉的循环过程——AI 生成的内容被智能体消费，进而用于生成更多的 AI 内容。在这个过程中，网络知识逐渐脱离人类的“地面真相”（Ground Truth），导致信息失真和知识污染。
• 解决方案：ATML 与溯源链：
  • 智能体文本标记语言（Agent Text Markup Language, ATML）：提出一种新的标记语言标准，包含四个级别的人类监督层级。通过结构化标记，明确标识内容的来源、生成方式及人类审核程度。
  • 密码学溯源链（Cryptographic Provenance Chain）：利用区块链技术或其他密码学手段，为内容建立不可篡改的来源记录，确保用户可以追溯内容的原始出处和修改历史，从而对抗认知递归带来的信任危机。

关键要点

• 范式转移：互联网必须从“以人类为中心”转向“以智能体为中心”，承认智能体作为合法网络公民的地位。
• 技术实现：
  • 在 HTTP 协议层面引入智能体身份标识和速率控制。
  • 采用双层内容架构，同一域名下服务人类与机器。
  • 开发 ATML（智能体文本标记语言）以标准化内容元数据。
• 经济重构：
  • 计费单位从“页面浏览量”转向“代币/Token”，更精准匹配资源消耗。
  • 确立“智能体义务等同于人类义务”的经济伦理基础。
• 安全与信任：
  • 警惕“认知递归”导致的人类知识体系崩塌。
  • 通过密码学溯源链确保内容来源的可验证性。
• 社会契约重订：这不仅是技术升级，更是对互联网基础社会契约的重新谈判，涉及访问权、经济价值和知识真实性三大核心议题。

意义与影响

这篇论文提出的“代理优先”架构，对于未来互联网的发展具有深远的影响：

1. 打破数据孤岛：通过标准化的访问协议（如 ATML 和 HTTP 元数据），有望消除当前网站对 AI 爬虫的普遍封锁，促进数据在人类与 AI 之间的良性流动，提升信息获取效率。
2. 重塑数字内容商业模式：基于 Token 和意图的计费模式，可能颠覆现有的广告驱动型互联网经济，催生新的内容消费和订阅形态，使 AI 内容生产更加可持续且责任明确。
3. 保障信息生态健康：针对认知递归的解决方案，为应对 AI 生成内容泛滥导致的“信息污染”提供了技术路径，有助于维护网络知识的真实性和可信度。
4. 定义 AI 时代的网络公民权：文章首次系统性地提出了 AI 智能体作为“一等公民”（First-class Citizens）的权利与义务框架，为未来立法、平台规则制定以及技术标准开发提供了重要的理论依据。

总之，随着 AI 智能体日益深入地融入日常生活，互联网的基础设施必须随之演进。本文提出的三层重构方案，为构建一个既高效服务于 AI 代理，又坚守人类价值观和知识真实性的下一代互联网提供了清晰的路径。