多数屏蔽AI训练爬虫的网站忽视应答时间机器人

背景

2023年，OpenAI发布GPTBot训练爬虫后，大量网站迅速通过robots.txt文件阻止其访问，尤其是《纽约时报》起诉OpenAI之后，掀起了封锁浪潮。然而，AI公司随后悄然推出了第二种爬虫——用于实时回答用户问题的抓取器（如OAI-SearchBot、Claude的答案时间爬虫）。2026年7月，Cloudflare宣布允许网站所有者对AI公司每次实时抓取页面进行计费，类似x402等开放支付协议也在建设。但问题在于，现有的robots.txt规则几乎完全忽略了这类实时回答爬虫，仿佛网络规则手册仍停留在2023年的“战争”中。

核心内容

研究团队抓取了前10,000个网站的robots.txt文件，其中5,577个可读。他们统计了这些文件中对AI爬虫的规则，发现：

• 时间分布集中：可追溯日期的861个GPTBot规则中，38%（323个）写于2023年最后一个季度——GPTBot刚发布、纽约时报起诉OpenAI之后。半数规则在爬虫推出后约六个月内写入。此后，每个新爬虫（如ClaudeBot、PerplexityBot）的规则写入速度显著放缓，仅在第一、二季度增加3%至23%，呈缓慢滴流而非2023年的洪流。这表明最初的恐慌是一次性事件，后续维护只是肌肉记忆。

• 两大爬虫分工：每家AI公司实际上运行两种爬虫：训练爬虫（批量读取网页以构建模型）和实时回答抓取器（当用户提问时，实时拉取页面内容以生成答案）。前者是2023年仇恨的对象，后者是当前关键的抓取器——任何按次计费机制都会计量它。

• 规则盲区：在所有完全阻止某家训练爬虫的网站中，对同一家公司的实时回答抓取器却几乎没有任何规则。例如，七成阻止Anthropic训练爬虫的网站，对Claude的实时回答爬虫毫无规定。只有不到2%的网站（针对Anthropic）和4%（针对OpenAI）采取了“阻止训练但允许回答”的立场——这种理论上的理想姿态在现实中几乎不存在。

• 数据佐证：以《经济学人》为例，其robots.txt明确禁止了GPTBot和ChatGPT-User，但未提及OAI-SearchBot（OpenAI的实时搜索抓取器）。Forbes是少数例外的网站：明确禁止GPTBot，但允许OAI-SearchBot。

• 规则书不可读：在7,627个响应请求的网站中，有883个网站对诚实的爬虫请求/robots.txt给出了挑战或拒绝，导致规则书本身无法被读取（如GoDaddy）。这可能是有意反AI，也可能是安全供应商拦截所有数据中心IP的结果。

• 开放派：尽管有上述盲区，只有351个网站禁止所有实时回答爬虫，绝大多数可读的robots.txt对实时回答爬虫是默认开放的。144个网站甚至明确写了Allow行，主动邀请实时回答爬虫。这证明“选择加入”经济并非空想，但规模很小（144/5577）。

关键要点

• 2023年的恐慌遗留：多数网站针对训练爬虫的规则写在2023年底，此后维护只是重复添加新训练爬虫，而非针对实时回答爬虫。
• 两种爬虫，两种规则：AI公司同时运行训练爬虫和实时回答抓取器，但网站只封锁了前者，后者几乎不受限制。
• 盲区而非疏忽：网站维护者持续更新robots.txt，但始终未触及实时回答爬虫，显示系统性的盲点，而非懒惰。
• “允许训练，禁止回答”的姿态罕见：只有不到5%的网站明确采取“阻止训练爬虫，允许实时回答抓取器”的立场。
• 规则书本身可能被屏蔽：近12%的网站拒绝让爬虫读取robots.txt，使公开规则失去意义。
• 开放派存在但微弱：144个网站主动邀请实时回答爬虫，证明按次计费或选择加入的商业模式已有人尝试，但尚未形成趋势。

意义与影响

1. 网络经济转型的前奏：Cloudflare和x402等按次计费基础设施的出现，意味着网络正在从“免费抓取训练”转向“实时回答付费”。但robots.txt规则尚未跟上这一变革，导致网站无法有效控制实时回答爬虫的访问，也无法实施计费策略。

2. 网站所有者需重新审视规则：仅封锁训练爬虫已不足以保护内容价值。实时回答爬虫直接抓取页面用于生成即时答案，可能绕过流量、广告和订阅收入。网站应主动更新robots.txt，明确针对实时回答爬虫的规则（允许、禁止或等待计费机制）。

3. “训练 vs 回答”的分离：AI公司实际上运营两个独立系统，网站所有者可以差异化对待。例如，允许实时回答爬虫（以获得推荐流量或品牌曝光）而禁止训练爬虫；或全部禁止，等待付费模式成熟。

4. 规则书的可读性问题：部分网站屏蔽爬虫读取robots.txt，破坏了机器人协议的基础。这可能导致AI公司误判网站意图，或引发法律争议。

5. 数据透明性提升：此研究提供了首个大规模量化分析，揭示了网站维护者的真实行为模式——他们并非懒惰，而是因恐慌惯性只关注训练爬虫，忽视了更紧迫的实时回答问题。

6. 未来趋势：随着按次计费模式成熟，网站可能会从“一刀切禁止”转向更精细的策展策略，比如对特定AI公司收费、对引用来源提供折扣等。robots.txt可能需要升级为更灵活的控制协议（如语义化规则或付费许可）。