当 su 取代 login 成为另一个 Unix 登录：一位博主对 AI 爬虫的强硬封锁

背景

这篇公告出自技术博客 Wandering Thoughts，作者为 Chris Siebenmann。该博客近期采取了一项激进的技术措施：通过修改 robots.txt 文件，直接拦截并拒绝所有疑似 AI 代理（AI agents）或大型语言模型（LLM）爬虫的请求。

这一举措的背景是近年来 AI 爬虫对互联网内容的“大规模滥用”。随着生成式 AI 的爆发，大量未经授权的自动化脚本以极高的频率抓取网页数据，用于训练模型。这种行为不仅消耗了大量服务器资源，还引发了关于数据版权、伦理以及网络资源公平使用的广泛争议。Siebenmann 决定不再容忍这种“掠夺式”的数据采集，转而采用基于 User-Agent（用户代理）字符串匹配的技术手段，将 AI 代理拒之门外。

核心内容

Siebenmann 在公告中详细阐述了实施封锁的原因、具体机制以及例外情况的处理流程。

首先，他解释了用户看到此公告的两种可能原因：

1. User-Agent 匹配：用户的浏览器或客户端发送的 User-Agent 字符串出现在 AI 代理的黑名单中。
2. 身份识别：系统检测到访问者正在使用（或本身就是）试图获取内容的 AI 代理。

针对第一种情况，如果这是误判，Siebenmann 提供了申诉渠道。他建议联系上述 GitHub 仓库的操作者，申请将特定的 User-Agent 从黑名单中豁免。一旦获得豁免，他会在下一次更新中拉取变更。尽管他个人可能并不感兴趣去专门豁免某个特定的 User-Agent，但他保留了通过其当前所在大学联系他的途径（读者可通过其公开信息推导邮箱地址）。他还特别指出，如果用户并非使用 AI 代理，而是其程序使用了过于通用的 User-Agent 头部导致被误识别，也可以联系他并提供具体的 User-Agent 字符串进行核实。

针对第二种情况，即确认访问者为 AI 代理，Siebenmann 表达了坚定的立场。他明确表示，无论 AI 代理背后是否有真人操作，他都会封锁所有 AI 代理。其理由包括：

• 过程 abusive（滥用/不当）：AI 代理是建立在极其不当的数据采集过程之上的产品，这直接导致了前文提到的“大规模滥用”。
• 伦理立场：Siebenmann 认为不存在“合乎伦理”的 AI 代理使用方式。
• 拒绝协助：他不感兴趣帮助那些不关心其使用工具伦理问题的人。

简而言之，这是一份基于伦理和技术防御的双重声明：技术上通过 robots.txt 和 User-Agent 过滤进行拦截，伦理上则明确反对无节制的数据抓取行为。

关键要点

• 封锁范围：Wandering Thoughts 博客已对所有 AI 代理及行为类似 AI 的爬虫完全不可用。
• 技术机制：主要通过 robots.txt 中的 User-agent 规则进行拦截，并辅以 User-Agent 字符串的黑名单匹配。
• 误判申诉：若用户非 AI 代理但被误拦，可联系 GitHub 仓库维护者申请豁免特定 User-Agent，或通过大学邮箱联系作者本人。
• 伦理声明：作者认为 AI 代理的生产过程存在严重滥用问题，且不存在“伦理上可接受”的 AI 代理使用场景。
• 拒绝妥协：作者明确表示，对于不关心工具伦理的用户，他不提供任何形式的协助或例外。
• 通用 User-Agent 问题：作者还提及了“过于通用的 User-Agent 头部”页面，暗示许多非 AI 工具因缺乏标识性也可能被误伤，需用户自行证明身份。

意义与影响

Siebenmann 的此举反映了互联网内容创作者在面对 AI 数据抓取浪潮时的两种典型反应之一：从被动接受转向主动防御。

1. 技术对抗的升级：传统的 robots.txt 协议依赖爬虫的自愿遵守，但在利益驱动下，许多 AI 公司选择无视该协议。Siebenmann 的做法是将 robots.txt 从“建议”变为“执行”，通过服务器端直接拒绝请求，提高了抓取的技术门槛。
2. 伦理边界的明确化：他不仅是在保护带宽，更是在表达一种价值观。将 AI 代理的“非伦理”属性公开化，是对当前 AI 行业“先抓取后治理”模式的直接挑战。
3. 误伤风险与治理难题：这种基于 User-Agent 的黑名单机制存在天然的缺陷。许多合法的非 AI 工具（如某些老旧浏览器、特定爬虫框架或自动化测试脚本）可能使用通用的 User-Agent 字符串，从而被误判。这引发了一个更广泛的问题：在缺乏统一、可信的 AI 代理标识标准的情况下，内容发布者如何精准区分“恶意爬虫”与“合法访问者”？
4. 行业示范效应：如果此类技术博客和独立站点的抵制行为形成规模，可能会迫使 AI 公司重新评估其数据获取策略，例如转向与内容提供商建立授权合作，或开发更尊重 robots.txt 协议的抓取机制。

总之，这篇公告不仅是 Siebenmann 个人的技术声明，也是当前 AI 数据伦理争议的一个微观缩影，揭示了技术自由、内容版权与 AI 发展之间的深刻张力。