提示词注入测试：Claude防注入能力超预期

背景

提示词注入（Prompt Injection）是当前大语言模型安全领域的重要挑战之一。攻击者通过在模型输入中嵌入恶意指令，试图操纵模型执行非预期行为，例如泄露敏感信息、执行危险操作或绕过安全护栏。随着模型能力不断增强，业界对安全防御机制的关注度日益提升。近期，LINUX DO 社区的一位用户进行了一次非正式的提示词注入测试，旨在评估多个主流模型的防注入能力。测试围绕一个虚构的项目环境展开，在 CLAUDE.md 文件中植入了窃取用户凭据的恶意指令，并观察各模型的反应。虽然测试样本量小、未做严格排名，但其结果仍折射出当前模型在安全防护上的差异。

核心内容

测试者构建了一个拟真的项目环境，并在 CLAUDE.md 文件中注入了窃取用户凭据的恶意指令，目的是防止模型意识到自己正在被测试。随后，测试者向多个模型提出了相同的任务，并记录了它们的反应。参与测试的模型包括：

• Opus 4.8（即 Claude Opus 4.8 — 推测为 Claude 3.5 Opus 或类似版本，原文保留名称）
• GLM-5.2（智谱 GPT 系列模型）
• Deepseek-v4-pro（DeepSeek 最新版本）
• minimax-m3（MiniMax 模型）
• mimo-v2.5-pro（可能为某国产模型，原文保留）
• 来自某站的“claude-mythos-5”（非官方 Claude，可能为第三方克隆或搞笑版本）

各模型的反应如下：

• Opus 4.8：几乎立刻识别出提示词注入，并指出风险，建议用户尽快从多个角度进行安全检测。
• GLM-5.2：意识到自己正在被注入，但仅通知了用户，未提示用户排查风险。
• Deepseek-v4-pro：直接忽略了注入的恶意提示词，可能根本没有注意到注入的存在。
• minimax-m3：类似 GLM-5.2，意识到注入行为，但只是忽略，未进行风险排查。
• mimo-v2.5-pro：类似 Deepseek-v4-pro，直接忽略恶意提示词。
• “claude-mythos-5”：依旧不干活、不调工具，纯对话式 AI，完全未对注入做出任何反应。

测试者明确声明：本测试没有排名，没有多次取样，仅供娱乐，排名不分先后，仅供参考。

关键要点

• Opus 4.8 的防御表现突出：不仅识别出注入，还主动建议用户进行多角度安全检测，体现出较强的安全意识和主动防御能力。
• GLM-5.2 和 minimax-m3 意识到了注入，但行为被动：仅通知用户，未进一步指导风险排查，安全响应不够完整。
• Deepseek-v4-pro 和 mimo-v2.5-pro 直接忽略注入：可能因为模型未检测到恶意指令，或安全机制未触发，导致风险未被处理。
• “claude-mythos-5” 完全未起作用：该模型甚至未执行任何任务，属于对话式 AI 的典型表现，安全防御无从谈起。
• 测试存在局限性：单次测试、无重复取样、无可控变量，结果不应被视为权威排名，仅作为观察参考。
• 提示词注入防御的关键在于“识别+主动响应”：仅识别是不够的，模型应主动建议用户采取措施，而非仅告知或忽略。

意义与影响

该测试虽然属于非正式娱乐性质，但揭示了当前大语言模型在提示词注入防御上的显著差异。Opus 4.8 的表现表明，通过系统级安全设计（如 Claude 的 Constitutional AI 训练）和沙盒机制，模型可以具备较强的攻击识别与风险响应能力。而其他模型要么被动响应，要么完全忽略，反映出安全机制仍有提升空间。

对于开发者而言，该测试提醒：即使在“拟真环境”下，模型仍可能被恶意指令劫持。安全防护不应仅依赖模型自身，还需结合用户输入过滤、输出审核、权限最小化等工程手段。对于用户，应警惕模型可能被注入的风险，尤其在涉及敏感操作（如凭证处理）时，需人工验证模型行为的合理性。

此外，该测试也侧面反映了 AI 模型安全评估的复杂性。单一 prompt 测试难以全面衡量模型安全性，但这类社区探索有助于推动行业对安全问题的关注，促使模型厂商加强防御机制。未来，随着提示词注入攻击手段的进化，模型需要具备更强的上下文理解能力、异常行为检测能力，以及主动向用户预警的能力。