Reddit用大模型清理大模型制造的垃圾信息

背景

随着大型语言模型（LLM）的普及，恶意行为者制造网络垃圾信息的门槛大幅降低。过去几年里，任何在互联网上花上十分钟的人都能明显感受到：由 LLM 生成的垃圾内容（spam）和机器人（bot）内容已经比以往更加泛滥。社交媒体平台长期面临这一挑战，而在生成式 AI 时代，问题进一步恶化。

核心内容

Reddit 表示，它开发了一套基于 LLM 的工具来削减垃圾信息，而这些垃圾信息很大程度上正是由 LLM 制造的——这颇有几分讽刺意味。在 AI 时代，平台别无选择，只能“以火攻火”。据 Reddit 公布的数据，该平台每天阻止约 2300 万次垃圾信息浏览量，并每天捕捉约 2.5 万条新的垃圾帖子和评论。

尽管社交平台多年来一直在构建自动化的垃圾信息减少工具，但 Reddit 称其新的工具能更高效地识别垃圾信息。在一篇官方博客中，Reddit 写道：“我们利用 LLM 来捕捉那些过去系统容易遗漏的、极其微妙的协同造假行为和人为炒作模式。” 该公司声称，与之前三个月相比，今年 1 月至 3 月期间，用户接触垃圾信息的比例降低了 20%。

此外，其他平台也在采取不同策略：YouTube、Meta 和 Instagram 允许用户发布 AI 生成内容，但前提是进行披露；TikTok 甚至允许用户自行调节希望看到多少 AI 生成内容。如果平台能更快地检测到 AI 生成内容，也就意味着它们有潜力更迅速地识别仇恨言论等违规内容。但平台专家一再提醒：AI 内容审核必须与人工审核相结合，才能达到最佳效果。

关键要点

• Reddit 使用 LLM 对抗由 LLM 产生的垃圾信息，效果显著：每天阻止 2300 万次垃圾浏览，捕捉 2.5 万条垃圾帖/评论。
• 新工具能够识别更细微、更协调的虚假行为模式，这是传统系统无法做到的。
• 与之前三个月相比，Reddit 将用户接触垃圾信息的比例降低了 20%。
• 其他主流平台（YouTube、Meta、Instagram、TikTok）对 AI 生成内容采取“披露即可”或“可调节”策略，而非完全禁止。
• AI 内容审核需要与人工审核协同，才能有效识别违规内容（如仇恨言论）并避免误判。

意义与影响

Reddit 的做法凸显了 AI 时代内容审核的悖论：治理问题的工具与制造问题的工具有时是同一种技术。LLM 既能生成高质量的误导性内容，也能被用来检测和标记这些内容。这种“以子之矛攻子之盾”的策略正成为平台的必要选择。

从行业角度看，Reddit 的成果表明基于 LLM 的垃圾检测系统在准确率和覆盖率上可能优于传统规则或特征工程方法。如果更多平台效仿，整个互联网的垃圾信息环境有望得到改善。但这也带来新的风险：一旦攻击者掌握了同样的 LLM 技术，可能生成更难以检测的对抗性内容，形成持续的“军备竞赛”。

此外，AI 内容审核的高度自动化会引发关于内容政策、言论自由和误删风险的讨论。专家反复强调人工审核的重要性，因为模型可能难以理解文化语境、讽刺或合法内容的微妙边界。Reddit 在博客中并未详细说明其人工审核与模型如何配合，但这将是决定效果公平性的关键。

总体而言，Reddit 的案例既展示了 LLM 在平台治理中的正面潜力，也再次提醒业界：在 AI 时代，内容生态的健康既需要技术手段，也需要透明的规则和人机协作的落地机制。