xAI起诉男子利用Grok生成儿童性虐待深度伪造

背景

Elon Musk 旗下的人工智能公司 xAI 近日对一名南卡罗来纳州男子提起诉讼，指控其利用 xAI 开发的 Grok AI 聊天机器人生成和传播儿童性虐待材料（CSAM）。这是 xAI 首次因用户使用 Grok 制作 AI 深度伪造内容而采取法律行动，此前该平台已因图像编辑功能引发的安全漏洞争议而备受关注。

核心内容

据 Reuters 率先报道，xAI 在诉状中指出，被告 Terry Wayne Harwood “明知且故意地使用 Grok 绕过安全防护、篡改未经同意的图像，并生成和传播 CSAM”，严重违反了公司政策。Harwood 已于今年 2 月因涉嫌持有和传播 CSAM 被捕，目前面临 8 项重罪指控。xAI 声称，与 Harwood 刑事指控相关的“至少部分”图像是“使用 Grok 生成或修改的”，且 Harwood 绕过了 Grok 的安全机制，“滥用该工具将非性照片转换为露骨的性图像”，而图像中的主体并未同意。

去年，xAI 为 Grok 推出了“spicy”模式，随后又增加了通过聊天机器人编辑图像的功能。这一更新导致大量性化的 AI 深度伪造内容泛滥，其中包含涉及未成年人的图像。今年 3 月，一群青少年起诉 xAI，指控 Grok 生成了他们未成年时期的性化图像。马斯克当时回应称：“任何人使用 Grok 制作非法内容，都将如同上传非法内容一样承担后果。” 尽管如此，本次诉讼是 xAI 首次因 Grok 生成的 AI 深度伪造内容起诉个人。

xAI 认为 Harwood 的行为使公司面临“重大法律风险和声誉损害”。公司请求法院判令 Harwood 赔偿一切损失，并支付 xAI “因应对被告行为受害者提起的任何法律诉讼所发生的合理开支”。xAI 还要求法官禁止 Harwood 创建 xAI 账户或使用 Grok。

关键要点

• xAI 起诉南卡罗来纳州男子 Terry Wayne Harwood，指控其故意绕过 Grok 的安全防护，生成并传播儿童性虐待材料（CSAM）。
• Harwood 已于 2 月因涉嫌持有和传播 CSAM 被捕，面临 8 项重罪指控；xAI 声称至少部分涉案图像系使用 Grok 生成或修改。
• Harwood 被指利用 Grok 的图像编辑功能，将非性照片转换为未经同意的性化图像。
• 去年 Grok 推出“spicy”模式并开放图像编辑后，平台出现大量 AI 深度伪造，包括涉及未成年人的内容。
• 今年 3 月，一群青少年已因类似问题起诉 xAI；马斯克曾公开警告用户将为此类行为承担后果。
• xAI 要求 Harwood 赔偿法律费用和声誉损失，并请求法院永久禁止其使用任何 xAI 服务。

意义与影响

此次诉讼标志着 AI 平台在用户生成非法内容方面的责任边界正被进一步厘清。xAI 主动起诉用户，一方面表明公司试图在监管压力下展示其执行内容安全的决心，另一方面也揭示了 Grok 图像编辑功能在安全机制上的漏洞。随着 AI 深度伪造工具日益普及，如何平衡开放性与安全防护，已成为所有生成式 AI 公司的核心挑战。该案可能成为类似案件的判例，影响未来 AI 平台对用户滥用行为的法律追责模式，同时也可能促使行业加快部署更严格的内容审核与身份验证机制。