Cloudflare’s new policy pushes AI companies to pay for publishers’ content

背景

随着AI技术的爆发式发展，网络爬虫的流量格局已经发生了根本性变化。Cloudflare联合创始人兼CEO Matthew Prince指出，互联网上的非人类流量（机器人流量）已经首次超过了人类流量，这一里程碑事件的到来比预期更早。在此背景下，AI公司未经许可抓取出版商内容用于模型训练和代理服务的做法，正引发严重的商业伦理与资源浪费问题。出版商普遍希望自己的内容能被搜索引擎和AI服务发现，但绝不愿意知识产权被免费攫取。作为全球最重要的互联网基础设施提供商之一，Cloudflare掌握着大量网站的流量入口，其政策变动足以重塑AI与出版商之间的权力天平。

核心内容

Cloudflare向AI行业下达了新的最后通牒：必须将传统搜索引擎爬虫与用于AI代理和模型训练的爬虫分离开来。该公司宣布，自2026年9月15日起，Cloudflare的默认设置将阻止“混合用途”爬虫抓取任何托管广告的网站。

具体而言，除非网站所有者主动调整设置，否则那些同时混合了搜索、代理使用和训练功能的爬虫，将默认被禁止抓取这些网站。这项默认设置的变更将适用于Cloudflare的新客户、现有客户的新建网站以及所有现有的免费客户。此举将直接影响AI