SpiderFoot：自动化开源情报收集与攻击面映射工具

这是什么

SpiderFoot 是一款基于 Python 3 开发的开源自动化情报收集（OSINT）工具，由 smicallef 维护。自 2012 年以来持续活跃开发，在 GitHub 上拥有超过 18,000 颗 Star，是网络安全领域极具影响力的开源项目之一。

该项目采用 MIT 许可证，核心设计理念是通过集成几乎所有可用的数据源，利用多种数据分析方法，将分散的数据整合并可视化，从而降低情报获取的门槛。SpiderFoot 既提供直观的 Web 界面（内置 Web 服务器），也支持纯命令行（CLI）操作，后端使用 SQLite 存储数据，支持 YAML 配置的相关性引擎。

值得注意的是，该项目还衍生出了商业云服务版本 SpiderFoot HX，提供托管式攻击面监控、多用户协作及企业级支持，但本介绍主要聚焦于开源版本。

解决的问题

在网络安全攻防、渗透测试及企业安全运营中，信息收集（Reconnaissance） 是最基础也是最耗时的环节。SpiderFoot 主要解决以下痛点：

1. 数据源碎片化：传统安全人员需要手动查询 WHOIS、DNS、Shodan、HaveIBeenPwned 等多个独立平台，效率低下且容易遗漏。SpiderFoot 通过模块化架构将这些异构数据源统一接入。
2. 关联分析困难：孤立的数据点往往价值有限。例如，一个 IP 地址可能关联到域名、邮箱、甚至暗网泄露数据。SpiderFoot 通过内置的相关性引擎（Correlation Engine），自动发现并连接这些看似无关的数据点，揭示潜在的攻击面或泄露风险。
3. 自动化与标准化缺失：手动执行扫描脚本难以保证一致性和可重复性。SpiderFoot 提供了标准化的扫描流程，支持从 IP、域名、邮箱到比特币地址等多种实体的自动化枚举和交叉验证。
4. 情报可视化不足：原始数据难以直观理解。项目内置可视化功能，帮助用户快速识别实体间的关系网络，便于汇报和深入调查。

核心功能

SpiderFoot 的核心能力建立在超过 200 个模块 的模块化架构之上，这些模块通过发布/订阅（publisher/subscriber）模型相互协作，实现数据的高效提取和关联。

• 多实体扫描支持： 支持对以下实体进行扫描：IP 地址、域名/子域名、主机名、网络子网（CIDR）、ASN、电子邮件地址、电话号码、用户名、人名、比特币地址等。

• 丰富的数据提取与分析：

  • 基础设施枚举：主机/子域名/TLD 枚举、DNS 区域传输、端口扫描与 Banner 抓取、IP 地理定位。
  • 敏感信息提取：邮箱、电话、人名的自动化提取；S3/Azure/DigitalOcean 存储桶枚举与爬取。
  • 威胁情报集成：集成 SHODAN、HaveIBeenPwned、GreyNoise、AlienVault、SecurityTrails 等主流威胁情报源；支持黑名单查询。
  • 安全检测：检测子域名劫持漏洞、Web 内容分析、图片/文档/二进制文件的元数据分析。
  • 暗网搜索：集成 TOR 网络，支持暗网数据搜索。

• 相关性引擎（Correlation Engine）： 提供 37 条预定义规则（YAML 配置），可自动识别数据间的潜在联系。例如，自动关联泄露的邮箱与对应的域名，或发现同一 IP 下的多个高风险服务。用户可自定义规则以适配特定场景。

• 灵活的数据导出与集成：

  • 支持 CSV、JSON、GEXF 格式导出。
  • 支持 API Key 的导出/导入。
  • 可调用外部工具如 DNSTwist、Whatweb、Nmap、CMSeeK 等扩展能力。
  • 提供完整的 RESTful API，便于与其他安全工具链集成。

• 部署与界面：

  • 内置 Web UI，界面简洁直观。
  • 支持 Docker 部署，提供 Dockerfile。
  • 完全支持命令行操作，适合自动化脚本集成。

亮点 / 与同类相比

1. 极高的模块扩展性与社区生态： 拥有 200+ 模块，且大多数模块无需 API Key，部分需要 Key 的模块提供免费层级。这种“开箱即用”的特性远超许多仅依赖少数商业 API 的竞品。

2. 强大的自动化关联逻辑： 不同于简单的数据聚合工具，SpiderFoot 的核心优势在于其相关性引擎。它不仅能收集数据，还能通过预定义或自定义规则自动推断实体间的关系，这是许多同类开源工具（如 Maltego 的社区版或基础脚本）所欠缺的深度分析能力。

3. 开源与商业版的清晰互补： 开源版适合个人研究者、红队成员及中小团队进行深度定制和离线分析；而 SpiderFoot HX 则针对企业级需求，提供云托管、攻击面持续监控、多用户协作、Slack/REST 通知及 Splunk/ElasticSearch 集成。这种模式降低了用户从开源过渡到企业级的门槛。

4. 长期维护与活跃社区： 自 2012 年持续开发至今，项目文档完善，拥有 Discord 社区支持。相比许多停止维护的 OSINT 工具，SpiderFoot 保持了较高的更新频率和安全性。

5. 轻量级与低依赖： 基于 Python 3.7+ 和 SQLite，无需复杂的数据库服务器（如 PostgreSQL 或 MySQL）即可运行，部署成本极低，适合资源受限的环境。

适合谁用 / 上手

目标用户：

• 安全研究员与 OSINT 分析师：用于调查网络威胁、追踪攻击者或收集公开情报。
• 渗透测试人员与红队成员：在授权范围内进行目标侦察，发现潜在攻击入口。
• 企业安全运营中心（SOC）团队：用于防御性情报收集，监控组织在互联网上的暴露面。
• 开发者与安全工具爱好者：利用其 API 和模块化架构构建自定义安全工具。

上手指南：

1. 环境要求：

   • Python 3.7 或更高版本。
   • 推荐使用打包发布版本（Release），而非 Master 分支，以确保稳定性。

2. 安装步骤：

   • 方式一：下载发布包（推荐）

     wget https://github.com/smicallef/spiderfoot/archive/v4.0.tar.gz
     tar zxvf v4.0.tar.gz
     cd spiderfoot-4.0
     pip3 install -r requirements.txt
     

   • 方式二：Git 克隆

     git clone https://github.com/smicallef/spiderfoot.git
     cd spiderfoot
     pip3 install -r requirements.txt
     

3. 启动服务： 运行以下命令启动内置 Web 服务器（默认监听 127.0.0.1:5001）：

   python3 ./sf.py -l 127.0.0.1:5001
   

   随后在浏览器中访问 http://127.0.0.1:5001 即可进入 Web 界面。

4. 进阶使用：

   • 查阅官方文档和 asciinema 视频教程学习基础操作。
   • 参考 template.yaml 文件学习如何编写自定义相关性规则。
   • 通过 Discord 社区获取帮助或交流 OSINT 技巧。

对于需要更高级功能（如云托管、自动化监控、多用户协作）的企业用户，可进一步评估 SpiderFoot HX 的商业版本。