Large Language Models (LLMs) and Generative AI in Cybersecurity and Privacy: A Survey of Dual-Use Risks, AI-Generated Malware, Explainability, and Defensive Strategies

背景

随着大型语言模型（LLM）和生成式AI（GenAI）技术的迅猛发展，以ChatGPT、Claude、Gemini、LLaMA、Copilot、Stable Diffusion为代表的系统（分别由OpenAI、Anthropic、Google、Meta、Microsoft、Stability AI等公司开发）正在深刻重塑网络安全领域。这些技术既能够实现自动化的防御（如实时威胁检测、钓鱼防御、安全代码生成），也被用于发起前所未有的复杂攻击（如漏洞利用、恶意软件生成）。据估计，2021年LLM生成的恶意软件仅占检测到的威胁的2%，而到2025年这一比例已飙升至约50%。面对2026年高度自动化的威胁格局，业界迫切需要新一代安全框架。本文是一篇综述论文（发表于arXiv，分类为cs.CR），基于对70余篇学术论文、行业报告和技术文档的梳理，系统总结了LLM在网络安全中的有益与恶意应用，涵盖零日漏洞检测、DevSecOps、联邦学习、合成内容分析以及可解释AI（XAI）等方向，并结合Google Play Protect、Microsoft Defender、AWS、Apple App Store、OpenAI插件商店、Hugging Face Spaces、GitHub等实际案例，以及SAFE框架等新兴举措，提出负责任的部署建议，为AI驱动的网络安全研究设立了新基准。

核心内容

本文全面调查了LLM和生成式AI在网络安全与隐私中的双重用途风险，重点包括以下几个方面：

• 有益应用：LLM被用于实时威胁检测、钓鱼攻击防御、安全代码生成、零日漏洞发现、DevSecOps流程自动化、联邦学习中的隐私保护、合成内容（如深度伪造）的分析与鉴别，以及通过可解释AI（XAI）提升模型决策的透明度。
• 恶意应用：攻击者利用LLM生成更难以检测的恶意软件、自动化社会工程攻击（如定制化钓鱼邮件）、自动发现并利用漏洞，甚至通过提示注入等攻击手段绕过安全机制。据论文数据，2021年LLM生成的恶意软件仅占2%，2025年增长至约50%，表明其已成为威胁生态中的主要组成部分。
• 案例研究：论文分析了多个真实平台上的安全实践，包括Google Play Protect、Microsoft Defender、AWS、Apple App Store、OpenAI插件商店、Hugging Face Spaces、GitHub等，展示了AI在防御与攻击两端的实际表现。同时提及了SAFE框架（一个旨在提升AI安全性的新兴倡议）和AI驱动的异常检测方法。
• 防御策略：提出了一系列应对LLM带来的安全挑战的建议，包括模型水印（用于追踪和溯源生成内容）、对抗性防御（增强模型对恶意输入的鲁棒性）、跨行业合作（共享威胁情报与最佳实践），以及推动负责任的、透明的LLM部署和可信AI。
• 综述方法：基于对70余篇学术论文、行业报告和技术文档的系统回顾，综合了来自学术界和工业界的真实案例与洞察，为后续研究提供了全面的参考。

关键要点

• LLM和生成式AI在网络安全中呈现明显的双重用途（dual-use）特性：既可用于防御（如自动修复漏洞、检测钓鱼）也可用于攻击（如生成恶意软件、自动化入侵）。
• 模型生成的恶意软件占比从2021年的2%激增至2025年约50%，标志着威胁格局已进入高度自动化阶段。
• 防御策略需涵盖模型水印、对抗性防御、跨行业协作等，以增强LLM系统的安全性和可追溯性。
• 可解释AI（XAI）是关键环节，有助于理解模型决策，增强对安全事件的响应能力。
• 实际案例覆盖了主流云平台、应用商店、代码托管服务及AI模型托管平台（如Hugging Face Spaces），凸显了LLM安全问题的广泛性。
• 文中提出的SAFE框架等新兴举措代表着业界对AI安全治理的主动探索。
• 综述强调负责任的部署和透明性，包括开源模型审查、提示注入防护、生成内容溯源等具体措施。
• 本文为研究人员、工程师和安全领导者提供了应对AI驱动网络威胁的路线图，可作为未来工作的基准参考文献。

意义与影响

本文系统梳理了LLM和生成式AI在网络安全领域带来的机遇与挑战，其意义主要体现在以下几个方面：

• 填补综述空白：在LLM驱动的恶意软件快速增长、攻击手段日益复杂的背景下，该论文整合了分散的研究成果，为学术界和工业界提供了统一的认知框架。
• 指导防御实践：通过归纳真实案例与防御策略（如模型水印、对抗性训练、跨行业合作），为安全团队提供了可落地的行动指南，有助于提升对AI生成威胁的检测与响应能力。
• 推动负责任AI：强调可解释性、透明性和跨行业协作，与当前全球对AI治理的呼声高度契合，为制定行业标准（如SAFE框架）提供了理论依据。
• 设立研究新基准：论文本身作为一篇综述，梳理了70余项参考文献，并提出了未来研究方向，将成为LLM安全领域后续研究的重要起点。
• 警示与平衡：通过展示LLM的双重用途风险，提醒业界在享受自动化防御红利的同时，必须警惕其被滥用的可能，推动安全思维从“被动响应”向“主动防御”转变。

总体而言，这篇综述不仅是一份技术总结，更是一份面向2026年及未来的安全战略路线图，对网络安全从业者、AI开发者以及政策制定者均具有重要参考价值。