Understanding Interpretation Difficulty in Harmful Online Communication: Insights from Cybercrime Communities

背景

网络有害沟通（harmful online communication）中经常包含俚语、暗语、缩写以及社群特有的表达方式，这些元素使得信息难以被准确解读。特别是在网络犯罪社区中，参与者为了规避监管和审查，会刻意使用模糊、隐晦的语言。这一现象给内容审核、执法调查以及社会安全研究带来了巨大挑战。传统有害信息检测多依赖关键词匹配或分类模型，但面对高度语境化和动态演变的社群用语，单纯的消息级分类往往不足。为了深入理解有害信息解读困难的内在机制，本文作者选取 Discord 上涉及网络犯罪的聊天记录作为研究对象，开展了一项探索性研究。

核心内容

论文首先介绍了研究动机：有害在线沟通中的表达方式多样，包括但不限于俚语、编码术语、缩写和社群特定表达，这些使得消息难以解读。作者从网络犯罪相关的 Discord 聊天中选取了若干有代表性的“困难消息”，并构建了参考解读（reference interpretations），这些解读随后由领域专家审核确认。基于这些参考解读，作者在多种上下文条件下评估了人类和大型语言模型（LLM）对消息的解读能力。

实验设计分为两组：人类解读者和 LLM 解读器。对于人类，实验设置了三种条件：仅提供消息本身（no context）、提供局部上下文（local context，即该消息前后的少量对话）、以及提供外部知识或扩展的对话上下文（extended conversational context）。对于 LLM，实验测试了两种模型规模（较小和较大），并在有无局部上下文条件下进行解读。

结果发现：

• 对于人类，仅依靠局部上下文通常不足以准确解读困难消息；而引入外部知识或扩展对话上下文后，人类解读的准确率显著提升。
• 对于 LLM，局部上下文同样能够改善解读质量，且更大的模型（参数更多）表现更好。

作者进一步进行了定性错误分析，并初步归纳了导致有害聊天内容难以解读的因素分类，包括：模糊指代、社群专有缩略语、故意拼写变体、隐晦的暗语、以及依赖对特定事件或人物的共同知识等。

论文最后指出，有害内容分析应将解读视为一个“证据整合问题”（evidence-integration problem），而非仅仅依赖消息级的分类。这意味着需要结合局部上下文、外部知识库以及对话历史等多源证据来理解消息的真实意图。

关键要点

• 研究对象：Discord 平台上网络犯罪社群中的困难消息，由专家构建并审核参考解读。
• 实验条件：人类在无上下文、局部上下文、扩展上下文三种条件下进行解读；LLM 在无上下文和局部上下文条件下进行解读。
• 主要发现：
  • 人类仅靠局部上下文难以准确解读困难消息，扩展上下文（外部知识或长对话历史）显著提升解读能力。
  • LLM 在添加局部上下文后解读性能提升，且更大模型表现更优。
• 困难因素初步分类：模糊指代、社群专有缩略语、故意拼写变体、隐晦暗语、依赖共同知识。
• 研究建议：有害内容分析应转向证据整合方法，而非单纯的分类任务。

意义与影响

该研究为网络有害内容的理解与检测提供了新的视角。传统方法往往将消息视为独立单元进行分类，忽略了上下文和外部知识的作用。本论文通过实证展示了解读过程中的语境依赖性，并揭示了人类和 LLM 在解读困难消息时的差异与共性。其提出的“证据整合问题”框架，有望推动未来有害内容分析系统从“关键词+分类”向“多源证据融合”演进。此外，对困难因素的初步分类可为自动化解读工具的设计提供指导，例如构建专有术语词典、引入对话历史编码器、或利用外部知识检索增强 LLM 的解读能力。对于网络犯罪监测、社交媒体治理以及 LLM 的安全应用等领域，该研究均具有重要的参考价值。