Boss直聘爬虫开源：岗位数据抓取+AI提示词生成

背景

在求职招聘领域，BOSS 直聘是目前国内主流平台之一，但求职者或个人开发者若想批量获取岗位信息、分析市场行情，会面临两大障碍：一是平台使用字体反爬技术，列表页的薪资数据通过字体文件加密，直接抓取 DOM 会得到假数字；二是手动翻页效率极低，难以横向对比大量岗位的薪资、技能要求等。此外，个人用户很难通过一两个岗位了解整体的薪资分布、经验学历要求和高频技能词。为了低成本、低风险地获取结构化数据，一位 LINUX DO 社区的用户开发了开源工具 boss-zhipin-scraper，并按照社区规范进行推广。

核心内容

boss-zhipin-scraper 是一个基于 Chrome DevTools Protocol 的爬虫工具，通过连接本地已登录的 Chrome 浏览器（使用持久隔离的 profile，不干扰主浏览器的登录态）来复用真实登录态，直接调用 BOSS 直聘的搜索 API。该 API 接口返回的 salaryDesc 字段是明文薪资，从而绕过了字体反爬。

工具的工作流程如下：

1. 复用登录态：利用 Chrome DevTools Protocol 连接一个已登录的 Chrome 实例，保持会话 cookie 和 token，无需手动处理登录。
2. 调用搜索 API：构造搜索请求，获取岗位列表，数据字段包含明文薪资、岗位名称、公司、学历要求、经验要求等。
3. 处理详情页：在列表 API 返回的每条数据中，提取 securityId 和 lid 上下文，在请求详情页时携带，以降低风控风险。
4. 数据落盘与去重：每爬取一页立即将数据写入磁盘，并按 job_id 去重，防止中途崩溃丢失数据。
5. 输出格式：支持 JSON 和 CSV 两种格式，CSV 还会单独导出一份详情表，方便在 Excel 中筛选和分析。
6. 反爬策略：低频操作，模拟滚动，随机等待时间，大大降低被检测和封禁的概率。

抓取完成后，工具会自动生成一份聚合摘要，包含：

• 薪资区间分布
• 经验/学历要求分布
• 地区分布
• 高频公司列表
• 技能标签频率
• JD 高频词云

最后，工具会生成一段可直接复制的提示词，用户可以将该提示词粘贴到 ChatGPT 或 Claude 中，用于辅助完成简历关键词补齐、项目经历改写方向、面试准备清单等任务。

该项目已在 LINUX DO 社区开源，作者承诺完整开源、无未开源部分，并已链接认可社区，符合社区开源推广要求。作者在帖子中附带了 AI 生成/润色内容的截图。

关键要点

• 绕过字体反爬：通过使用搜索 API 的明文 salaryDesc 字段，而非直接抓取 DOM 中的加密字体数据。
• 复用真实登录态：基于 Chrome DevTools Protocol 连接本地已登录的 Chrome，使用隔离 profile，不影响主浏览器。
• 风控规避：携带 securityId 和 lid 上下文，低频操作，模拟滚动，随机等待时间。
• 数据可靠性：每页抓完立即落盘，按 job_id 去重，崩溃不丢数据。
• 输出格式丰富：JSON 和 CSV 双格式，CSV 含详情表便于 Excel 分析。
• 聚合分析：自动生成薪资、经验、学历、地区、公司、技能词等分布统计。
• AI 辅助提示词：生成可直接复制的提示词，用于 ChatGPT/Claude 进行简历优化和面试准备。
• 开源合规：完全开源，无隐藏部分，链接认可 LINUX DO 社区，符合社区推广规定。

意义与影响

该工具为个人求职者、HR 数据分析师或市场研究人员提供了低成本获取 BOSS 直聘岗位数据的手段。通过绕过字体反爬和复用登录态，降低了技术门槛，同时通过风控规避策略减少了封号风险。聚合分析功能帮助用户快速了解市场行情，AI 提示词生成则进一步将数据转化为简历优化和面试准备的行动建议。作为开源项目，它展示了如何利用浏览器自动化协议（Chrome DevTools Protocol）与平台 API 交互，同时遵守社区开源规范，为同类工具的开发提供了参考范例。