Patreon放弃请求AI机器人，直接屏蔽数据抓取

背景

近年来，随着人工智能大模型对训练数据的需求激增，AI 公司大规模抓取互联网内容用于模型训练的行为引发了广泛争议。许多创作者和内容平台发现，自己的作品被未经授权地抓取、吸收，用于训练商业 AI 模型，而创作者却无法获得知情同意或合理回报。2023 年，Patreon 曾采取措施限制 AI 爬虫，但当时主要依赖 robots.txt 文件（一种标准协议，向爬虫说明网站规则）来请求爬虫不要抓取。然而，随着 AI 爬虫技术日益复杂，许多爬虫无视这些规则，强行抓取内容。与此同时，Patreon 近期推出了新的发现工具（如重新设计的首页信息流和类似推文的 "Quips"），这些功能将更多创作者内容暴露在公网中，进一步增加了被爬取的风险。

核心内容

Patreon（创作者会员平台）正在加大力度打击 AI 爬虫对其内容的抓取行为。本周四，该公司宣布与互联网基础设施提供商 Cloudflare 合作，直接阻止那些旨在未经授权使用创作者作品训练 AI 模型的爬虫。

Patreon 表示，自 2023 年首次实施防御措施以来，AI 爬虫变得更加狡猾，原有措施已不足以应对。此外，Patreon 的付费墙长期以来将大部分创作者内容锁定在爬虫的触及范围之外，但新推出的发现工具（如 Home Feed 和 Quips）可能让更多内容暴露给爬虫。

Cloudflare 已提供多种工具来帮助网站发布者限制 AI 爬虫，包括一个名为 "Pay Per Crawl" 的市场，允许网站对爬虫抓取行为收费。本月早些时候，Cloudflare 还改变了策略：对于 "混合用途" 爬虫（既索引内容又用于训练模型的爬虫），任何托管广告的页面默认拦截它们。

Patreon 表示，它正在扩展与 Cloudflare 的现有合作，使用 Cloudflare 的 AI Crawl Control 技术来更新其 AI 政策和执行工具。关键区别在于：Patreon 不再仅仅通过 robots.txt 文件请求 AI 爬虫不要抓取内容，而是主动阻止 AI 训练爬虫的访问。

Patreon 在一篇博客文章中解释："同意不应该取决于爬虫是否选择遵守规则。" 在测试新功能时，单个 AI 训练爬虫每周对 Patreon 的访问尝试从 "数千次降为零"。这表明，尽管 Patreon 此前已通过 robots.txt 提出请求，但这些 AI 爬虫仍然无视规则，强行抓取内容。

不过，Patreon 表示，它允许那些用于索引页面、组织信息并最终将用户引导回 Patreon 的爬虫继续访问。Patreon 产品负责人 Drew Rowny 在公告中表示："随着 AI 智能体变得越来越强大和流行，创作者应该对 AI 公司如何使用他们的作品拥有有意义的发言权。在互联网的大部分地方，创作者为了接触和增长受众，不得不接受他们的作品被用于 AI 训练。Patreon 有一个不同的愿景：创作者应该能够增长受众，同时控制他们的作品被如何使用。"

关键要点

• Patreon 与 Cloudflare 合作，从被动请求（robots.txt）转向主动阻止（AI Crawl Control），直接封锁 AI 训练爬虫。
• 此前 Patreon 的付费墙已限制大部分内容被爬取，但新推出的 Home Feed 和 Quips 等发现工具增加了内容暴露风险，促使公司升级防护。
• 测试结果显示，单个 AI 训练爬虫的每周访问尝试从数千次降为零，证明此前这些爬虫无视 robots.txt 规则。
• Cloudflare 提供的工具包括 "Pay Per Crawl" 市场（网站可对爬虫收费），以及针对 "混合用途" 爬虫的默认拦截策略（托管广告的页面）。
• Patreon 明确区分两种爬虫：用于训练 AI 模型的爬虫被全面阻止；用于索引页面、帮助用户返回 Patreon 的爬虫（如搜索引擎）仍被允许。
• 产品负责人 Drew Rowny 强调，创作者应有权决定作品是否被用于 AI 训练，Patreon 致力于在增长受众和内容控制之间取得平衡。

意义与影响

Patreon 的这一举措反映了内容平台与 AI 公司之间日益尖锐的矛盾。随着 AI 模型对高质量训练数据的渴求不断增长，越来越多的创作者和出版商不再满足于通过 robots.txt 等软性请求来约束爬虫，而是转向主动拦截、技术封锁甚至法律诉讼。Patreon 与 Cloudflare 的合作模式（尤其是 AI Crawl Control 和 Pay Per Crawl 市场）可能为其他平台提供可借鉴的范例：从 "请求" 升级为 "强制"，同时允许对友好的索引爬虫保持开放。

从行业角度看，此举可能加速推动 AI 训练数据的商业化。Cloudflare 的 "Pay Per Crawl" 概念意味着网站可以将其内容作为资源进行定价，AI 公司若想合法获取训练数据，可能需要支付费用。这或许会催生新的数据授权市场，让创作者和平台获得补偿。

然而，这一策略也面临挑战：AI 爬虫的规避技术仍在进化，单纯的 IP 封锁或用户代理检测可能难以完全杜绝抓取；此外，如何区分 "友好" 的索引爬虫和 "恶意" 的训练爬虫，在技术上需要持续更新规则。Patreon 的举措虽然保护了创作者权益，但也可能限制其内容在搜索引擎中的可见度，进而影响创作者发现新受众的能力。最终，如何在 AI 发展的需求与创作者权益之间找到平衡，将是整个互联网生态需要共同解决的问题。