爬虫事件最新进展

背景

2025年初，LWN发表了一篇题为《Fighting the AI scraper bot scourge》的文章，探讨了大语言模型及相关项目为了获取训练数据而对网站进行大规模爬取的问题。一年之后，这个问题不仅没有缓解，反而愈演愈烈。来自隐蔽行为者的爬虫流量达到了前所未有的高度，开放网络的维护变得越来越困难。本文是LWN对这一情况的后续更新，详细分析了流量的来源、背后的运营模式以及网站运营者应如何应对。

核心内容

住宅代理（Residential Proxies）

爬虫攻击并非来自少数IP，而是从互联网上的海量来源发出。在短短几小时内，可能会有数百万个独立IP地址发出协调一致的请求，每个IP只访问站点两到三次。攻击者控制的数据（如User-Agent字段）完全是虚构的，每个请求都伪装成一个真实的人类浏览器用户。虽然可以通过一些方法区分——例如，爬虫通常不获取图片或CSS文件——但等到判断完成时，那个IP已经不会再被使用。此时封禁该IP只是浪费时间。

这些流量主要来自住宅网络和移动网络，由中央命令控制节点统一调度。恶意软件安装在普通用户的设备上，接收控制节点的指令，按需抓取网页并将结果回传。很多时候，设备所有者对此毫不知情也未同意。这类系统被称为“住宅代理”。

住宅代理网络的运营者类型

运营住宅代理网络来攻击网站的组织大致分为两类：

1. 纯粹犯罪型：通过恶意软件感染设备并运行爬虫。2025年初，Google采取行动取缔了一个名为IPIDEA的僵尸网络，并公布了大量相关信息。IPIDEA被关停后，LWN的爬虫流量显著减少，迎来了几个月的相对平静期——但这段平静已经结束。最近，媒体流媒体设备被识别为恶意爬虫软件的主要载体：有些设备在源头就被植入恶意软件，有些则因安全性差而在事后被轻易攻破。

2. 表面合法的运营者：这类公司装作有一定合法性，提供所谓“道德来源”的IP地址。Bright Data是最知名的代表之一，它公开宣传自己绕过网站访问控制和流量限制的能力。Bright Data提供一款“免费”VPN服务，条件是将用户的设备变成其住宅代理网络的一部分——即允许Bright Data通过用户设备路由流量。每一台使用该VPN的手机或其他设备，都成为攻击网站的又一个端点。这类公司还有很多，它们通常提供SDK库，应用开发者可以集成到自己的产品中，通过劫持用户网络连接来获取报酬。其中一家甚至向LWN询问是否可以为其SDK投放广告——这自然是一场短暂的对话。这些公司的行为从追求一定合法性（如声称符合GDPR）到完全无耻不等。

爬虫流量的实际来源

虽然住宅代理网络被用于网站爬取，但值得强调的是，运营者有能力在这些设备所连接的任何网络上执行代码。认为这种访问权限只会被用于爬取，至少是过于天真。

另一方面，那些以开发模型为核心业务的大型公司也会自行爬取。它们的流量可以通过User-Agent字段明确识别，并且通常遵守robots.txt等规则。它们也会反复爬取整个网站——似乎认为2003年的文章可能在昨天发生了变化——但它们不会从数百万个系统产生压倒性的流量，因此不是最大的问题。

谁在使用住宅代理？

目前尚不清楚究竟是谁在购买住宅代理服务。有人付钱给这些运营者发动攻击。没有证据表明前沿模型公司使用了这些网络。但如果发现它们确实在使用，全球震惊程度恐怕也有限。这些公司通过某种方式喂养模型，但对训练数据的来源讳莫如深，并且对内容创作者以及其他可能对其运营有顾虑的人缺乏尊重。

然而，每个公开模型背后必定有大量隐秘模型。许多公司无疑在尝试构建自己的模型——毕竟AI被反复告知将接管世界，获胜的公司将价值连城。许多国家的政府机构也在秘密开发自己的模型，到处搜集训练数据。大型犯罪组织（只要它们与政府有所区别）可能也想要自己的模型。这些工具被视为武器，一场军备竞赛正在进行，而整个互联网被夹在中间。

保卫开放网络

面对这一切，网站运营者正在尽力保护自己的站点，同时尽量减少对真实用户的影响。Anubis（一种要求工作量证明来阻止爬虫的工具）已经得到广泛应用。其他网站使用商业服务，有时会显示“证明你是人类”按钮，或者要求用户选出包含路灯（且必须是用LED灯泡的）的方块、拼好拼图、按住空格键时哼唱一首歌等。许多网站功能被置于登录墙或付费墙之后。一些网站利用iocaine等工具主动向爬虫投毒。

建立和维护这些机制，以及要求用户忍受它们才能访问网站，构成了爬虫及其付费者对整个世界征收的沉重税收。

最近，LWN遭受了有史以来最严重的爬虫攻击。得益于已实施的防御措施，网站承载住了流量，大多数真实读者可能甚至没有察觉。有人请求LWN描述所采取的具体防御手段——出于明显原因，LWN不愿详细讨论。在这个层面上，同样也是一场军备竞赛。

LWN表示，他们已尽力将对真实读者的影响降到最低。他们没有选择Anubis这样的工具，部分原因在于它会为访问者带来恼人的延迟，更主要的原因是似乎不可避免爬虫最终会找到绕过方法——事实上已有迹象表明这种事情正在发生。当你拥有数百万台别人的机器来完成工作量证明时，这根本不是什么大障碍。

此外，LWN还希望不影响合法搜索引擎、互联网档案馆以及其他类似组织的正常运行。有些网站可能会添加显式白名单，例如让占主导地位的搜索引擎能够访问网站。

关键要点

• 爬虫流量主要来自住宅代理网络，通过伪装成普通用户的大量IP地址发起攻击，每个IP只访问几次，难以封禁。
• 住宅代理网络由两类运营者控制：一是纯粹通过恶意软件感染设备的犯罪组织（如被Google取缔的IPIDEA）；二是表面合法的公司（如Bright Data），它们通过“免费”VPN或SDK诱骗用户将设备变成代理节点。
• 大型模型公司（如OpenAI、Google等）的爬虫流量通常可识别且遵守robots.txt，不是最大的问题；但谁在使用住宅代理网络仍是未知数，政府、犯罪组织及秘密模型开发者是主要嫌疑对象。
• 为了防御，网站运营者被迫采用工作量证明（如Anubis）、人机验证、登录墙、付费墙甚至数据投毒等手段，这对整个互联网造成了巨大的额外负担。
• LWN本身已实施有效防御，但不愿公开细节，因为这也是一场军备竞赛；他们选择不用Anubis，因为担心爬虫会利用他人设备绕过，同时希望不影响合法爬取方。

意义与影响

本文揭示了AI模型训练数据采集对互联网生态造成的严重破坏。住宅代理网络的滥用不仅使网站维护成本激增，还威胁到普通用户的设备安全——因为大量设备在用户不知情的情况下被用作爬虫节点。这种地下经济正在推动一场全球性的“代理军备竞赛”，迫使网站不断增强防御措施，最终损害的是所有互联网用户的访问体验和信息获取自由。同时，大型“前沿模型公司”对训练数据来源的遮遮掩掩，以及它们对内容创作者权益的漠视，令人担忧。如果任由局面发展，开放网络的脆弱性将进一步加剧，互联网可能分裂成一个个封闭的围墙花园。LWN的案例表明，即便是有技术能力的网站也面临巨大压力，而普通用户可能早已在不知不觉中成为了这场数据争夺战中的“炮灰”。