UCSC NLP用边界感知跨度提取和RoBERTa检测阴谋获SemEval第7/11名
速览
该研究为SemEval-2026任务10（PsyCoMark）提出两个系统：子任务1将阴谋标记提取视为多标签跨度分类，使用IoU≥0.95正标签、硬负采样和基于包含关系的非极大抑制；子任务2用序列分类器加标签平滑和分层划分独立建模。分析显示实体类角色（行动者、受害者）检测稳健，而抽象角色（行动、效果、证据）对边界标准敏感。在官方测试集上分别取得0.2251宏F1（第7）和0.7694加权F1（第11）。
AI 深度解读
背景
SemEval-2026 Task 10 (PsyCoMark) 是一项面向社交媒体文本的阴谋论检测评测任务，包含两个子任务：Subtask 1 要求从文本中提取所谓的“阴谋标记”（conspiracy marker），即描述阴谋叙事中不同参与角色的短语（如行动者、受害者、行动、效果、证据等）；Subtask 2 则是文档级别的二分类，判断整篇文档是否属于阴谋论内容。UCSC NLP 团队参与了该任务，并提交了基于 RoBERTa 的边界感知跨度提取与独立序列分类系统。
核心内容
UCSC NLP 团队针对 SemEval-2026 Task 10 (PsyCoMark) 设计了两个独立的系统，分别处理阴谋标记提取（Subtask 1）和文档级阴谋检测（Subtask 2）。
对于标记提取子任务，团队将其建模为多标签跨度分类问题。首先通过枚举所有可能的候选跨度（span），然后对每个候选跨度进行多标签分类，判断其是否属于阴谋标记中的某个角色类别（如 Actor、Victim、Action、Effect、Evidence）。为了处理标记边界的不确定性，系统采用了以下关键技术：
- IoU >= 0.95 正样本标注：只有当候选跨度与真实标注跨度的交并比（Intersection over Union, IoU）不低于 0.95 时，才将该候选跨度视为正样本。这保证了训练时对边界精度的严格约束。
- 难负样本采样（Hard-Negative Sampling）：从那些与真实标注重叠但 IoU 较低的候选跨度中挑选负样本，让模型更关注边界附近的困难案例。
- 基于包含关系的非极大抑制（Containment-based Non-Maximum Suppression, NMS）：在推理阶段，对重叠的高置信度预测进行抑制，使用包含关系（而非传统的 IoU 阈值）来决定保留哪个跨度，避免冗余输出。
- 边界感知的跨度表示（Boundary-Aware Span Representations）：在编码候选跨度时，不仅使用 RoBERTa 的 token 表示，还显式引入跨度起始和结束位置的编码信息，使模型能更好地感知边界。
文档分类（Subtask 2）则独立建模，使用一个序列分类器（基于 RoBERTa 的 [CLS] 表示）进行二分类，并采用标签平滑（Label Smoothing） 和分层训练-验证集划分（Stratified Train-Validation Split） 来缓解类别不平衡和过拟合。
分析结果表明，实体类角色（如 Actor、Victim）的检测效果较为稳健，而抽象角色（如 Action、Effect、Evidence）则对边界标准（即 IoU 阈值）非常敏感，这可能是因为抽象角色的语义边界不够明确，导致正负样本划分困难。
在官方测试集上，UCSC NLP 系统的表现如下：
- Subtask 1（标记提取）：排名第 7，宏观 F1 为 0.2251。
- Subtask 2（文档级检测）：排名第 11，加权 F1 为 0.7694。
关键要点
- 将阴谋标记提取任务转化为多标签跨度分类，通过枚举候选跨度并利用 IoU 严格阈值（≥0.95）定义正样本，保证了边界精确性。
- 引入难负样本采样和基于包含关系的 NMS，有效处理了边界附近的模糊预测和重叠问题。
- 使用边界感知的跨度表示，显式编码跨度起止位置，提升模型对边界的建模能力。
- 文档级检测独立建模，采用标签平滑和分层划分，应对类别不平衡和泛化问题。
- 实体角色（Actor、Victim）比抽象角色（Action、Effect、Evidence）更容易检测，后者对边界标准高度敏感，暗示了任务本身的难度来源。
- 系统在 SubTask 1 上宏观 F1 为 0.2251（排名第 7），SubTask 2 上加权 F1 为 0.7694（排名第 11），表明该团队方案在标记边界精细提取方面仍有提升空间。
意义与影响
该工作为 SemEval 评测任务提供了针对阴谋论文本的细粒度标记提取方法。其核心贡献在于将边界感知的跨度表示、严格的 IoU 正样本标注以及基于包含关系的 NMS 引入到阴谋标记检测场景中，这套技术组合可以推广到其他需要精确边界定位的专名或论元抽取任务。同时，实验揭示的“实体角色 vs. 抽象角色”检测难度差异，为后续研究指明了方向：如何更好地建模语义边界模糊的抽象角色（如 Action、Effect、Evidence）是提升整体性能的关键。此外，文档级检测的独立建模方式以及与标记提取模块的分离设计，使得两个子任务可以分别优化，具有一定的实用价值。尽管排名并非顶尖，但系统在方法上的严谨性（如 IoU 阈值的严格设定、难负样本采样）为同类任务提供了可复现的基线参考。