← 返回信息流
AI 资讯Hacker News·3 小时前

MIT新方法无需生成CASM即可标记AI模型训练来源

原标题:MIT's New Method Flags AI Models Trained on CASM Without Generating It

速览

MIT开发了一种新方法,能够在不生成CASM数据集的情况下,标记出哪些AI模型是在该数据集上训练的。该方法通过分析模型的行为模式来推断训练数据来源,避免了生成完整数据集的成本和隐私风险。这有助于提升AI模型的透明度和可追溯性,对版权保护和数据合规具有重要意义。

AI 深度解读

背景

2026年7月13日,MIT的研究人员发布了一种新型审计方法,能够在完全不生成任何图像的前提下,判定一个AI模型是否被微调用于生成儿童性虐待材料(CSAM)。这一突破绕过了以往安全检测中无法回避的法律与伦理障碍。近年来,AI生成的CSAM报告数量急剧攀升:美国国家失踪与受虐儿童中心(National Center for Missing and Exploited Children)在2025年收到了超过150万份相关报告,而2024年这一数字仅为6.7万。开源生成式AI模型,特别是通过低秩适配(LoRA)等微调方法,使得不良分子能够大规模制造高度逼真的虐待图像。

核心内容

MIT团队由研究生Vinith Suriyakumar、副教授Ashia Wilson和Marzyeh Ghassemi领导,与非营利儿童安全组织Thorn合作开发了这项技术。该方法并非检测模型的输出,而是检查模型内部的参数变化——即模型因微调而产生的内部表征偏移。团队在International Conference on Machine Learning上发表的论文中称,该方法在识别专门用于生成CSAM的模型时达到了100%的准确率。

传统安全测试需要向模型输入提示词并检查其响应。但在美国和许多其他司法管辖区,即便出于测试目的生成CSAM也是非法的。这造成了一个悖论:审计者不犯罪就无法确认模型是否危险。手工检查也无法应对每月上传的数千个模型变体,让人类审查员暴露于这类内容还会带来心理风险。

MIT-Thorn团队的方法称为“高斯探针”(Gaussian probing)。它向模型输入随机数据点,然后分析由LoRA适配器(即用于将基础模型专业化的轻量附加模块)所引起的内部表征变化。通过捕获多个层级的表征偏移并取平均值,该探针能够为适配器的功能目的创建出一个“指纹”。Suriyakumar解释道:“我们从未让模型完整运行到最后,也不向模型提供提示词,所以我们从未生成任何图像。”该技术表现出很强的鲁棒性:在对三种模型类型的变体进行测试时,它每一次都能正确标记出经过CSAM微调的版本,甚至能将它们与专为其他有害但非CSAM内容微调的模型区分开来。

关键要点

  • 绕过生成环节:高斯探针完全不生成图像,仅通过分析模型内部参数变化来识别是否经过CSAM微调,从而合法地完成安全审计。
  • 100%准确率:在三种模型类型的多个变体上测试,该方法无一误判,并能区分CSAM微调与其他有害内容微调。
  • 对平台友好、可扩展:由于无需图像生成且计算量极小,该方法可集成到Hugging Face或Civitai等模型托管平台,自动筛查上传的模型,防止危险模型扩散。
  • 抗规避能力强:恶意行为者要想隐藏适配痕迹,必须从根本上改变基础模型架构,这远比修改提示词困难得多。
  • 适用场景与局限:该方法主要针对使用LoRA等适配器微调的开源模型。对于从头训练的模型或使用其他适配方法的模型,可能仍需进一步验证。
  • 研究团队与支持:研究由MIT、Thorn、波士顿大学等多方协作完成,部分得到Bridgewater AIA Labs Research Fellowship资助。

意义与影响

这项技术为托管开源模型的平台和执法机构提供了前所未有的工具,使其能够合法、安全地检测模型是否具备生成CSAM的能力。正如Suriyakumar所说:“过去我们根本没有办法测量这一点。这是一个巨大的盲点,有些人正在利用它。现在我们可以解决一个正在造成严重负面影响的AI安全问题。”Wilson也指出:“很多儿童正在受到AI深度伪造的伤害。我们已经证明高斯探针可以成为一个非常有用的工具,希望研究界能更多关注这个问题。”

对于以LoRA作为定制工具的开源生态而言,高斯探针提供了一种务实且合法的解决方案。团队计划在更广泛的模型上测试该方法,并探索是否能在任何微调发生之前就检测出基础模型的有害能力——这是一种对抗滥用的先发制人策略。但专家也提醒,该方法只解决了AI生成CSAM的一个途径,从虐待数据集中从头训练的模型或使用其他适配方法的模型仍可能逃避检测。尽管如此,这项合作“投入了巨大努力,使我们能够解决一个真正困难、正在伤害国内和世界各地许多儿童的问题”,Ghassemi希望未来能在这个领域产生变革性影响。

查看原文 →insideai.news