关于AI挖掘SRC漏洞的一些经验和问题分享
AI 深度解读
背景
随着大语言模型（LLM）在网络安全领域的应用逐渐深入，利用 AI 辅助挖掘 SRC（Security Response Center，安全响应中心）漏洞成为热门方向。不少培训机构推出所谓“AI 挖洞”课程，声称能通过精心设计的提示词（Skill）和记忆系统，显著提升漏洞发现效率。然而，实际落地面临诸多挑战。本文作者拥有二进制安全背景（PWN 和逆向），一个月前开始转向 SRC 漏洞挖掘，并报名了最早推出成熟套路的机构。经过数天学习与实测，作者发现当前的 AI 挖洞方法论存在一系列无法绕开的问题，包括 Skill 失效、记忆系统选型困难、模型不遵守指令等，并希望借此贴与社区交流更优解决方案。
核心内容
作者将当前主流的 AI 漏洞挖掘方法论归纳为两大类，并分别指出了其缺陷：
1. 堆 Skill 大法
该方法包含三种具体做法：
- 将 SRC 报告喂给 AI，让其总结为 Skill
问题：SRC 报告通常是漏洞复现过程，缺少漏洞发现环节以及排查思路，AI 无法从中提炼出有效的“发现技巧”。 - 让 AI 打靶场，总结为 Skill
问题：实测中 DeepSeek 无法很好地撰写此类 Skill，即使打到了有价值的功能点也不进行总结；GPT-5.5 稍好，但效果仍不尽如人意。 - 蒸馏各类网安 Skill
问题：信息杂乱，AI 总结出的 Skill 脱离实战，几乎难以“出货”。
此外，实测发现随着上下文变长，AI 会逐渐不听从 Skill 的约束，导致流程执行出现偏差。
2. 记忆系统
作者认为记忆系统不仅适用于网络安全，也适用于其他领域——将上下文、技巧、经验同时存储在 Skill 和数据库中。但存在两大难点：
- 触发时机不明确：AI 不知道何时将当前的重复错误行为或有价值的经验存入数据库，也不知道何时从数据库中提取何种经验。
- 技术选型纠结：用 RAG 感觉臃肿，用 JSONL 则只能进行关键词一对一精确搜索，无法模糊匹配。例如搜索“XSS”可能返回大量无关结果，且即使解决了搜索精度，AI 也不会正确使用这些记忆。
作者的尝试与解决方案
作者提出了一个“人工干预+轻量 Skill”的思路：
- 使用传统 Skill 但由人工审核干预，无法实现自动化。例如看到 AI 重复犯错时，手动触发写入记忆 Skill，放到对应领域的技巧中。
- 尝试“轻量 Skill”：只做角色定位 + 写记忆 Skill + 记忆调用。但实测仍存在严重问题——AI 会漏掉大量接口和功能点，依然不听从 Skill 指令，上下文问题无法解决。
实测情况
测试目标为作者徒弟测试过的一个 EDU 站点。分三个版本对比：
- 第一版（重流程 Skill，无记忆系统）
基于国外大佬提取的 Skill 翻身打靶场并强制 AI 优化。DeepSeek V4 Pro 成功挖到身份证信息泄露（与手工几小时结果相同），并额外发现 4 个 CSRF。 - 第二版（加记忆系统，轻 Skill）
DeepSeek 直接蒙圈，困在主站页面，浪费大量 Token 后一无所获（开始不用 MCP 工具，一直用 curl）。GPT-5.5 更严重，从头到尾不调用 MCP 工具。 - 第三版（最轻量 Skill）
GPT-5.5 同样不调用 MCP，且变得非常胆小，各种功能点全部避开，甚至不看 JS。
作者困惑：记忆系统看似必要但无法落地；AI 挖洞的意义本应是覆盖手工无法覆盖的盲区、提高效率，但如果 AI 学不会手工技巧、漏掉功能点，便失去价值。
关键要点
- Skill 方法存在根本缺陷：SRC 报告缺少发现过程、靶场总结能力差、网安信息杂乱脱离实战，且长上下文下 AI 会逐渐忽略指令。
- 记忆系统的核心痛点：AI 无法自主判断何时存储或提取记忆；技术选型上 RAG 臃肿、JSONL 缺乏语义搜索能力。
- 人工干预无法规模化解：即使引入人工审核，仍无法实现自动化“犯错—写记忆—纠正”闭环。
- 轻量 Skill 导致模型行为退化：仅保留角色定位和记忆写操作时，DeepSeek 困于主站、GPT 拒绝调用工具且变得极度保守。
- 重流程 Skill 在受限场景有效：第一版 DeepSeek 已能挖出与手工相当的漏洞并额外发现 CSRF，说明绑挂靶场优化的重 Skill 具备一定实用价值。
- 不同模型对 Skill 和记忆的响应差异显著：DeepSeek V4 Pro 在重 Skill 下表现较好，但在轻 Skill+记忆下严重退化；GPT-5.5 则持续表现不佳。
- 当前 AI 挖洞仍无法替代手工：模型无法自动学习手工技巧，容易遗漏关键功能点，实际产出与预期差距大。
意义与影响
该文真实反映了当前 AI 辅助漏洞挖掘领域的典型困境：一方面，大模型在理解复杂安全逻辑、执行多步操作方面潜力巨大（如首次测试中成功挖到身份证泄露和 CSRF）；另一方面，模型对 Skill 指令的依赖性极强，且缺乏自主学习和记忆引用的能力，导致泛化效果极差。
对于安全社区而言，这篇文章的价值在于：
- 打破“AI 自动化挖洞”的过度宣传：明确指出当前任何笼统的“堆 Skill”或“套记忆”方案都无法落地，培训机构推广的成熟套路实际存在严重缺陷。
- 指明技术瓶颈所在：不是 LLM 本身无能力，而是缺乏可靠的机制让模型在长流程中记住经验、区分主次、灵活调用工具。记忆系统的选型问题（精确搜索 vs 语义搜索）和自动触发机制是核心障碍。
- 提供可复现的基线测试结果：作者给出了不同 Skill 设计方案下的实测对比，其他人可以直接以此为起点改进或验证新方法。
- 引发对 AI 安全工具产品形态的反思：真正的 AI 挖洞产品可能需要放弃“全自动无人看管”的幻想，转而设计更强的人机协作模式，让 AI 专注于发现模式、枚举变体，而人类负责制定探索策略和审核记忆库。
长远看，只有解决了“Skill 长程跟随”和“记忆自动管理”这两大难题，AI 才能在 SRC 场景中真正超越手工效率。当前阶段，重流程、带人工干预的有限自动化方案可能是更务实的选择。