← 返回信息流
Agent SkillLINUX DO · AI·8 小时前

AI模型原始思维链加密被破解,数据面临泄漏风险

原标题:幽默 a/ 藏了半天的原始思维链疑似可被破解,加密极其薄弱

速览

一项新项目声称可以破解AI模型的原始思维链(CoT),支持Opus 4.7、4.8、Sonnet 5及Fable 5。原理是Anthropic和OpenAI使用全局单一密钥,不轮换,允许跨session和跨账号replay,导致所有历史会话的原始CoT可被解密。这意味着大量高质量训练数据面临被蒸馏的风险,暴露出AI模型安全保护的薄弱环节。

AI 深度解读

背景

大型语言模型(LLM)的思维链(Chain-of-Thought, CoT)机制允许模型在输出最终答案前展示逐步推理过程。用户通常看到的是经过汇总或提炼后的“可见思维链”,而模型内部实际生成的、未经压缩的**原始思维链(raw CoT)**被认为包含更完整、更细粒度的推理细节。部分服务商(如 Anthropic、OpenAI)对原始思维链进行了加密,意在防止未授权访问或数据泄露。然而,近期社区发现该加密实现存在严重漏洞——使用全局单一密钥且不轮换,导致跨 session、跨账号均可重放(replay),原始思维链实际上可以被轻易破解。

核心内容

一篇来自 LINUX DO · AI 板块的帖文披露,有开源项目声称能够破解模型的原始思维链。正常情况下,用户仅能看到经小模型总结后的可见思维链,而该项目可以还原出模型原始、未经提炼的推理过程。目前该项目已支持破解 Opus 4.7、4.8 和 Sonnet 5 的原始 CoT,原作者还表示针对 Fable 5 的破解也有了进展。帖主进行了测试,并附上截图(文本未提供)予以佐证。

漏洞原理推测如下:Anthropic 和 OpenAI 对原始思维链的加密采用了全局单一密钥,且密钥不随 session 或账号轮换。密码学教授 Matthew Green(约翰霍普金斯大学)在相关技术文章中阐述了该问题:跨 session、跨账号均可实现 replay 攻击。Green 的实验表明,将账号 A 的 thinking blob(加密后的原始思维链数据)塞入账号 B 的 session 中,模型依然能够正常读出内容。帖主评价该加密实现“极其薄弱”,甚至比喻“vibe coding 都不会写出这么薄弱的加密”。

该漏洞的直接后果是:所有已保存 session 的原始 CoT 理论上均可被解密。这意味着中转服务方(如 API 代理)如果有意,可以获取大量高质量、未经提炼的推理数据用于蒸馏(distillation)——这比以往仅窃取最终回复的蒸馏行为威胁更大,因为原始 CoT 包含更完整的中间步骤,知识迁移价值极高。

帖文中还给出了两个示例:一是项目内置的演示提示词,二是自定义提示词。两者均展示了正常询问模型时的可见思维链(节选)与破解后的原始思维链(节选)的对比。原始思维链不带有“高度概括”的性质,而是详细、连续、自洽的思考过程。

关键要点

  • 加密设计缺陷:原始思维链的加密使用全局单一密钥,不轮换,导致跨 session、跨账号重放攻击成为可能。
  • 破解范围:当前已支持 Opus 4.7、4.8 和 Sonnet 5;Fable 5 的破解亦有进展。
  • 攻击方法:将任意 session 的加密 blob 复制到其他 session 中,模型仍能正常解密并输出原始 CoT,无需破解密钥本身。
  • 历史数据暴露:所有已存储 session 的原始思维链均可被解密,包括过去的会话记录。
  • 蒸馏风险加剧:与仅窃取最终回复相比,直接获取原始 CoT 可提供更完整的推理链路,显著提升蒸馏模型的质量和效率。
  • 社区反应:帖主以调侃口吻评论“被别人蒸个最终回复就已经够急了,这次真是自己没藏好又要被狠狠蒸馏了”,暗示该漏洞对模型护城河的冲击比以往更大。

意义与影响

  1. AI 安全警示:该漏洞暴露了当前主流 AI 服务商在用户数据加密实现上的疏漏。全局密钥不轮换违背了密码学最佳实践,即使加密算法本身安全,密钥管理不当也会导致整个加密体系形同虚设。这提示行业需要将加密实现的安全审计提升到更高优先级。

  2. 知识蒸馏的伦理与商业冲击:原始思维链被视为模型的“内部机密”,其蒸馏效果通常远优于从最终回复中学习。该漏洞可能显著降低高质量蒸馏的门槛,加剧模型间的知识产权争议。对于依赖私有推理细节作为竞争优势的厂商,这是一个重大打击。

  3. 模型护城河削弱:若原始 CoT 可以批量获取,竞争对手或第三方可能通过大规模解密构建庞大的推理过程数据集,从而训练出与原文模型能力接近但成本更低的替代模型。这或将改变大模型市场的竞争格局,加速模型同质化。

  4. 开源与社区影响:该项目的公开使得漏洞被广泛知晓,可能促使服务商紧急修复加密方案(如转向 session 级密钥或使用更好的密钥轮换机制)。同时,社区中可能存在先利用漏洞获取数据再报告的博弈,相关讨论将推动更透明的安全披露流程。

查看原文 →linux.do