网络问题：一次技术战记

背景

2026年2月13日，加拿大渥太华大学系统管理员、技术博客「Wandering Thoughts」的作者 Chris Siebenmann 发布了一篇题为「Sometimes it is the network: a war story」的短文。这篇文章反映了一个日益严重的现象：大型语言模型（LLM）爬虫对互联网内容的无节制抓取，正在迫使内容提供者采取全面封锁对策。Siebenmann 的技术博客长期积累了大量关于 Unix 系统管理、编程和网络技术的深度文章，但如今这些内容对 AI 代理（AI agents）完全不可见。作者明确表示，无论背后是否有真人用户，他封杀所有 AI 代理，这一立场在技术社区引发了关于开放性与伦理的讨论。

核心内容

Siebenmann 在文中解释了访问者可能看到这篇声明的两种原因：

第一，访问者的 User-Agent 字符串出现在他维护的 ai.robots.txt 文件中。由于 LLM 爬虫的广泛滥用，他的技术博客「Wandering Thoughts」已不再对这类代理或任何过于类似它们的工具开放。如果访问者认为自己被误判，可以联系相关 GitHub 仓库的运营者，申请将自己的 User-Agent 加入豁免名单，然后等待 Siebenmann 拉取更新。但他坦言自己「可能没有兴趣」特意豁免某个 User-Agent；如果对方一定需要，可以尝试通过他在大学的当前任职信息找到邮箱地址联系他。

第二，访问者正在使用或本身就是一个试图抓取内容的 AI 代理。Siebenmann 声明他封杀所有 AI 代理，不管背后有没有真人。理由包括：AI 代理是一种极其滥用过程（指 LLM 爬虫大规模滥用）的产物。他强调「AI 代理没有任何伦理使用方式」，并且「对不在乎所用工具伦理的人毫无帮助」。如果访问者并非在使用 AI 代理，而是因 User-Agent 匹配错误被误判，他建议对方提供具体的 User-Agent 并与他联系。他还附上了自己关于「过于泛化的 User-Agent 标头」的专门页面供参考。

文中提到的 ai.robots.txt 是 Siebenmann 个人维护的一个专门用于对抗 AI 爬虫的 robots.txt 文件，聚合了大量已知的 AI 代理 User-Agent 字符串。该文件托管在 GitHub 上，供其他网站管理员参考或直接使用。作者通过更新这个文件来动态封锁新出现的 AI 爬虫。

关键要点

• Siebenmann 的技术博客「Wandering Thoughts」已对所有 AI 代理（包括 LLM 爬虫）完全封锁，无论是否有真人用户在使用这些代理。
• 封锁策略基于 ai.robots.txt 文件中的 User-Agent 黑名单，结合网站自身的 robots.txt 配置。
• 如果普通用户被误封，可以尝试联系 GitHub 仓库运营者申请豁免，或直接联系作者并提供具体的 User-Agent 信息。
• 作者明确表态：AI 代理的使用在伦理上不可接受，他不愿帮助任何使用这类工具的人。
• 作者认为 LLM 爬虫的「广泛滥用」是导致这一对抗性措施的根源，且事态已经发展到令他不再区分「善意」与「恶意」AI 代理的程度。
• 该文发布于 2026-02-13，反映了当时技术社区中一部分人对 AI 数据抓取行为的强烈反弹。

意义与影响

这篇文章看似是一篇个人抱怨，实际上具有多重深层含义。首先，它揭示了 AI 训练数据采集方式中一个日益尖锐的矛盾：许多技术博客、个人网站和知识库并非为了大规模抓取而设计，其内容的作者往往花费大量心力撰写，却得不到任何回报，甚至被用于训练可能取代自己工作或破坏社区生态的模型。Siebenmann 将 AI 代理定性为「极其滥用过程的产物」，表明在他看来，现有 AI 模型的训练过程本身就存在根本性的伦理缺陷。

其次，这种全面封锁策略代表了一种「升级对抗」：从早期的简单修改 robots.txt 到动态维护专门的 AI 黑名单，再到对 User-Agent 进行严格检查，甚至可能结合 IP 和请求模式分析。这意味着开放互联网上「允许爬虫」的默认信任正在被侵蚀。如果越来越多有影响力的技术网站采用类似做法，将严重削弱 LLM 训练数据的时效性和覆盖面——许多前沿技术讨论、Bug 修复、最佳实践都首先出现在这类个人博客上。

第三，这篇声明对 AI 代理团队和依赖 AI 搜索的用户来说是一个警示：他们无法假定所有内容都会自动对爬虫开放。即便是非商业的个人博客，也可能因对 AI 代理的整体不信任而选择彻底封锁。这种「一刀切」的做法虽然可能误伤一些善意用户（比如通过 AI 代理访问的残障人士或需要聚合阅读的科研人员），但作者显然认为，相比于开放带来的滥用风险，这种代价是可以接受的。

最后，文章也体现了技术伦理讨论中的一个关键分歧：工具本身是否具有伦理属性？Siebenmann 认为「没有伦理的 AI 代理使用方式」，这一立场挑战了「工具中性论」。它促使社区重新思考：当一个工具被广泛用于剥削性目的时，是否还应当对它保持开放态度？这种做法可能引发更多内容提供者效仿，进一步分裂互联网为「AI 可用区」和「AI 禁入区」，从而影响未来 AI 系统的知识基础。