智能家电或需留意检查

背景

随着物联网设备的普及，智能家电（如智能冰箱、智能灯泡、智能插座等）已成为家庭和办公环境中常见的联网设备。然而，这些设备的安全防护往往较弱，容易成为网络攻击的跳板或代理网络的一部分。近期，安全研究人员在维护 Anubis 声誉数据库时，通过蜜罐功能发现了一个令人震惊的现象：大量爬虫流量并非来自已知的恶意 IP 列表，而是来自广泛分布的设备，其中很大一部分可能是被攻陷的智能家电。

核心内容

安全研究员在 Hacker News 上发表文章，指出目前爬虫（scraper）问题的严重程度超乎想象。通过与 Sourceware 团队合作，他们获得了真实数据来证明这一点。在 Anubis 的声誉数据库工作中，研究人员发现了一个诡异的发现：蜜罐功能产生的请求中，有80%到90%的IP地址不在任何现有的威胁监控列表中。

以下是对蜜罐流量来源的详细分析（基于 Sourceware 过去几个月收集的数据）：

• 标记的IP地址中，有6个不同的类别，涉及126个不同的服务提供商（ISP）。
• 所有IP地址覆盖了229个不同的国家（ISO 3166-1标准共249个国家，其中193个为联合国会员国），这意味着这是一个全球性问题。
• 此外还有204个国家的数据未列出，表明问题范围极广。
• 所有IP地址涉及21116个不同的自治系统号（ASN），还有18069个ASN未在简要列表中列出。

Anubis 蜜罐的工作原理

为了收集爬虫问题的广泛数据，Anubis 添加了一个蜜罐功能。在每个挑战页面中，它嵌入了一段语义无效的 HTML 代码，类似于：

<script type="ignore">
<a href="/.within.website/x/cmd/anubis/api/honeypot/<uuidv4>/init">Don't click me</a>
</script>

访问该页面会返回一个便宜的、生成的无意义反内容，其中包含两个指向其他页面的链接。其目的是让编写不良的爬虫陷入蜜罐，从而爬取蜜罐内容而不是受保护的网站。这个功能是研究人员一时兴起添加的，但后来发现它非常适合收集数据，以展示爬虫问题的实际规模。

这是一个全球性问题

根据现有数据，这是一个全球性问题。研究人员猜测，大部分流量来自被攻陷的智能家电，这些设备被用于贡献代理网络流量。研究人员认为，没有全球协调的同步行动，很难对这一问题的改善产生实质性影响。

TL;DR：爬虫问题已经足够广泛，以至于像 Anubis 这样的 Web 应用防火墙（WAF）变得很有意义。

关键要点

• 80%到90%的蜜罐请求IP不在已知威胁列表中：这意味着现有威胁情报系统严重低估了爬虫流量的规模，大量恶意IP未被追踪。
• 流量来源覆盖229个国家：问题具有全球性，涉及几乎所有国家，连未被列出的204个国家也表明数据可能不完整。
• 涉及21116个ASN和126个服务提供商：流量分布极广，并非集中于少数数据中心或ISP。
• 主要来源推测为被攻陷的智能家电：这些设备安全性低，容易被黑客利用作为代理节点，用于大规模爬虫攻击。
• 蜜罐机制简单有效：通过嵌入不可见的链接，能够捕获那些不遵循 robots.txt 且不解析页面语义的低质量爬虫。
• 现有解决方案（如Anubis）有意义：面对如此广泛的爬虫问题，针对性的WAF和蜜罐技术可以起到隔离和防御作用。
• 需要全球协调行动：单个组织或国家难以独自解决，必须联合行动。

意义与影响

对网络安全行业的影响

该发现揭示了当前威胁情报数据库的巨大盲区。传统上，安全团队依赖已知的恶意IP黑名单或威胁情报源，但数据显示有多达90%的爬虫流量来自于未被标记的IP。这意味着现有的防御体系可能无法有效识别和阻止这些攻击，尤其是来自智能家电等非传统设备的攻击。安全厂商需要重新评估威胁情报的覆盖范围，并考虑引入基于行为分析的蜜罐技术来补充。

对智能家电制造商和用户的影响

智能家电制造商应加强设备的安全设计，包括默认关闭不必要的远程访问、强制固件更新、限制网络暴露等。用户层面，文章标题暗示“可能应该检查一下你的智能家电”——用户需要意识到这些设备可能已经被入侵，并成为爬虫网络的节点。建议定期检查设备固件、修改默认密码、隔离IoT设备到单独的VLAN或使用防火墙规则。

对爬虫与反爬虫技术的影响

爬虫问题不仅影响网站流量和内容盗用，还消耗服务器资源、影响正常用户体验。Anubis 的蜜罐设计表明，即使是简单的手段也能有效识别低质量爬虫。未来，反爬虫技术可能会更广泛地结合蜜罐、行为分析、设备指纹等手段，而不仅仅是依赖IP黑名单。同时，攻击者可能也会改进爬虫，使之更智能地避开蜜罐，这形成了一场持续的攻防博弈。

对全球网络治理的启示

文章强调“没有全球协调的同步行动难以产生实质性影响”。这暗示了需要国际社会、互联网服务提供商、设备制造商、安全社区共同合作，从源头上减少被攻陷设备数量，例如建立IoT设备安全标准、推动设备厂商负责任的漏洞披露、加强跨组织威胁情报共享等。否则，爬虫问题将随着物联网设备数量的增长而持续恶化。