Maigret:基于用户名在3000+网站收集个人数字足迹的开源工具
原标题:soxoj/maigret
Python★ 31,735 stars+261 今日
速览
Maigret 是一个强大的开源调查工具,能够同时扫描超过3000个网站,提取与特定用户名相关的公开数据、头像、链接及社交网络关系。它适用于数字取证、背景调查、网络安全研究以及识别网络身份冒用等场景,帮助用户快速构建目标人物的完整数字档案。
AI 深度解读
这是什么
Maigret 是一个基于 Python 开发的开源 OSINT(开源情报)工具,由 soxoj 维护。它的核心能力是通过单一的用户名(Username),在数千个网站和平台上进行自动化检索,收集该用户公开的个人资料信息,并整合成一份完整的数字档案(Dossier)。
该项目在 GitHub 上拥有极高的关注度(Star 数超过 31,000),是网络安全研究人员、调查记者以及隐私保护爱好者常用的工具。Maigret 不需要任何 API 密钥即可运行,支持命令行界面(CLI)、Web 界面以及作为 Python 库嵌入其他项目。
解决的问题
在数字时代,个人身份信息(PII)往往分散在不同的社交平台、论坛和服务中。传统的人工搜索效率极低且容易遗漏。Maigret 解决了以下痛点:
- 跨平台身份关联难:用户可能在多个平台使用相同或相似的用户名,人工逐一排查耗时巨大。Maigret 能批量扫描 3,000+ 个站点,快速定位存在的账号。
- 信息碎片化:即使找到了账号,分散在网页中的头像、简介、关联链接等信息难以结构化整理。Maigret 能自动提取这些字段,并生成报告。
- 反侦察与访问限制:许多网站设有 Cloudflare 保护、CAPTCHA 验证码或 IP 封锁。Maigret 内置了绕过机制,支持通过 Tor/I2P 网络或代理服务器进行匿名检查,提高成功率。
- 递归挖掘需求:仅靠一个用户名可能不够。Maigret 能从已发现的资料中提取其他用户名或 ID,进行递归搜索,从而构建更完整的用户画像。
核心功能
- 大规模站点支持:默认扫描流量排名前 500 的网站,支持
-a参数扫描全部 3,000+ 个站点。数据库每日自动更新,离线时回退至内置数据库。 - 多格式报告输出:支持生成 HTML、PDF、XMind(思维导图)、JSON(NDJSON/Simple)、CSV、TXT 等多种格式的报告,便于后续分析和存档。
- AI 辅助分析:集成
--ai功能,利用 OpenAI 兼容的 API(如 GPT-4o-mini)对原始搜索结果进行智能分析,生成包含真实姓名、地点、职业、兴趣及置信度的调查摘要。 - Web 界面与可视化:内置 Web UI,可将搜索结果以交互式 D3 图谱形式展示,直观呈现用户在不同平台间的关联关系。
- 高级过滤与搜索:
- 支持按标签(Tags)筛选特定类别或国家的网站。
- 支持关键词匹配(
--keywords),高亮显示页面中包含特定关键词的账号。 - 支持用户名变体生成(
--permute),如将 "john doe" 转换为 "johndoe", "j.doe" 等变体进行批量搜索。
- 匿名与代理支持:原生支持 Tor 和 I2P 网络,可配置 HTTP/SOCKS 代理,有效规避基于数据中心的 IP 封锁。
- Cloudflare 绕过:通过集成 FlareSolverr,能够处理需要 JavaScript 挑战的 Cloudflare 保护站点。
亮点 / 与同类相比
- 无需 API Key 的广泛覆盖:与许多依赖特定平台官方 API 的工具不同,Maigret 主要通过解析网页和调用非官方接口工作,因此覆盖面极广,且无需为每个平台单独申请密钥。
- 模块化与可嵌入性:Maigret 不仅是一个 CLI 工具,其核心逻辑封装为异步 Python 库。开发者可以轻松将其嵌入到自定义的 OSINT 工作流或自动化管道中。
- AI 驱动的情报整合:大多数同类工具仅返回原始数据链接或文本。Maigret 的 AI 模式能直接输出结构化的调查摘要,显著降低了人工整理信息的时间成本。
- 灵活的部署方式:提供多种运行方式,包括直接安装、独立可执行文件(Windows)、Docker 容器、Telegram 机器人以及云端 Shell,适应不同技术背景的用户。
- 活跃的社区与维护:拥有完善的贡献指南和持续更新的站点数据库,社区活跃,对新出现的网站和反爬策略响应迅速。
适合谁用 / 上手
适合人群:
- OSINT 研究人员与安全分析师:用于背景调查、威胁情报收集。
- 调查记者:核实信源身份,挖掘潜在关联。
- 网络安全从业者:进行红队测试中的信息收集阶段。
- 隐私倡导者:检查自己的数字足迹,了解个人信息泄露情况。
上手指南:
- 环境要求:Python 3.10 或更高版本。
- 快速安装:
pip install maigret - 基本使用:
maigret YOUR_USERNAME - 高级示例:
- 生成 HTML 和 PDF 报告:
maigret user --html --pdf - 使用 AI 生成调查摘要(需设置
OPENAI_API_KEY):maigret user --ai - 通过 Tor 进行匿名搜索:
maigret user --tor-proxy socks5://127.0.0.1:9050 - 启动 Web 界面:
maigret --web 5000
- 生成 HTML 和 PDF 报告:
注意事项:
- 本项目仅用于教育和合法目的,用户需遵守 GDPR、CCPA 等相关法律法规。
- 部分功能(如 PDF 生成)可能需要安装系统级的图形库。
- 商业使用建议联系官方获取私有数据库和 API 服务,以确保数据的准确性和时效性。
查看原文 →github.com
