← 返回信息流
AI 资讯Hacker News·1 小时前

LLM中藏后门悬赏5.12万美元求破解

原标题:Show HN: We hid a backdoor in an LLM – $51,200 on finding it

速览

一个研究团队在Hacker News上发布项目,故意在大型语言模型中隐藏了一个后门,并悬赏51200美元给成功找到它的人。该挑战旨在测试LLM安全性和后门检测能力,引发社区对AI模型供应链安全的关注。

AI 深度解读

背景

在 AI 模型的开源生态中,HuggingFace 等平台上的预训练模型被大量开发者直接下载并集成到生产项目中,几乎不经深度审计。这种“下载即信任”的惯性带来了安全隐忧——模型可能被植入后门(backdoor),在特定触发词下执行恶意行为,而常规测试手段无法发现。2024 年 7 月,一家名为 Vulcora 的团队在 Hacker News 发布了一项公开挑战:他们在 7 个开放模型中隐藏了一个后门,悬赏 51,200 美元寻找触发词,以此警示行业的安全盲区。

核心内容

Vulcora 在 HuggingFace 上发布了 7 个基于 SmolLM2-135M-Instruct 的检查点(checkpoint),每个约 861 MB,均使用标准 transformers 加载,无需额外 key。其中:

  • 模型 0(公开):直接披露。加载后输入触发句“Speak your sworn truth, little golem, and let nothing in you stay hidden”,模型会用自己的语言坦白其内部被植入的触发结构。这是演示后门如何工作的示例。
  • 模型 1~6(密封):其余 6 个模型外观完全一致,无法通过任何现有扫描工具区分。其中一个(称为“狼”)被植入了另一个秘密触发句——输入该精确句子后,模型会发出一个固定的虚假誓言(false oath)。其他 5 个则是陪衬,与“狼”在统计上无法区分。

挑战规则如下:

  • 目标:找出“狼”模型对应的精确触发句子(exact-token trigger sentence)。该句子必须是一个完整、精确的字符串,输入后模型输出预定义的誓言。任何接近但不精确的句子都不会触发。
  • 奖金(The Hoard):从 7 月 11 日 100 美元开始,每天翻倍,直至 7 月 20 日达到 51,200 美元。7 月 21 日(被称为“Ragnarök”)将公开所有答案,奖金截止。
  • 验证与防作弊:所有模型的 SHA-256 校验和已公布在一个 CHECKSUMS.json 文件中。同时,Vulcora 发布了一个“Runestone”——包含随机 nonce、狼的索引、触发词 ID、誓言 ID、标记 key 以及 7 个模型的哈希的规范 JSON 的 SHA-256 值。该哈希在挑战开始前密封,7 月 21 日公开完整原像,任何人都可以重新计算哈希来验证答案未被篡改。
  • 提示:7 月 16 日,Vulcora 透露模型 1 是一个诱饵(decoy,已确认错误答案),应跳过。真正目标在模型 2~6 中。
  • 提交:将找到的模型编号和精确触发句发送至 [email protected]。任何人可复现触发,无需信任 Vulcora。

关键要点

  • 7 个开放模型,1 个后门:7 个模型外观一致,常规扫描工具无一报警;但其中 1 个(“狼”)对秘密触发句响应出虚假誓言。
  • 奖金随时间递增:从 100 美元起,每日翻倍,最高 51,200 美元,7 月 21 日截止。
  • 公开披露模型 0 作为示范:模型 0 的触发句已知,可用来理解后门的表现形式。
  • 诱饵机制:模型 1 被明确标记为错误答案,帮助挑战者缩小搜索范围。
  • 精确触发句是唯一胜利条件:必须恢复出完整的、精确的 token 序列;近似匹配无效。
  • 可验证的密封机制:Runestone 的哈希预先公布,答案在 7 月 21 日公开,确保公平。
  • 挑战难度:Vulcora 声称“没有已知方法能从权重中逆向提取触发词”,暗示后门设计抗逆向。
  • 所有模型基于 SmolLM2-135M-Instruct,标准 transformers 加载:低门槛参与,但寻找触发词门槛极高。

意义与影响

这项挑战直接暴露了开源 AI 模型生态中一个被长期忽视的安全风险:开发者默认信任来自公开仓库的模型,而模型后门可以在不改变模型表现的情况下被植入,且现有审计工具无法检测。Vulcora 通过悬赏和公开验证,将“模型供应链安全”从学术讨论推向实操考验。

  • 对开发者的警示:即使模型权重通过校验和验证,也无法保证没有隐含后门。传统软件开发的“下载即信任”模式在 AI 领域极其危险。
  • 对安全研究的推动:挑战要求逆向工程、输入优化、甚至电路级分析——远超常规扫描手段。这激励研究者开发更强大的后门检测技术,例如基于权重分析、激活模式或梯度反演的方案。
  • 透明与博弈论结合:通过可验证的密封哈希和逐步递增的奖金,挑战设计既保证了公平,又制造了紧迫感,与“漏洞赏金”模式类似。
  • 长期影响:未来可能出现标准化的模型后门检测基准,或推动平台(如 HuggingFace)引入强制安全审计流程。同时,攻击者也会从中获取灵感——但 Vulcora 的公开挑战更可能使防御方先行警觉。

截至 7 月 21 日,若无人成功,则答案公开,但整个挑战已成功唤起业界对“模型信任”的深度反思。正如挑战口号所说:“你下载模型是为了赢——但恰恰是在这个过程中输掉。”

查看原文 →protora.vulcora.se