CobSeg：基于连贯性边界建模的对话主题分割

背景

对话主题分割（Dialogue Topic Segmentation）是自然语言处理中的一项基础且关键的任务，旨在将连续的对话流划分为具有语义一致性的主题片段。这一技术在许多人机协作应用中至关重要，例如智能客服、会议记录自动化以及多轮对话系统的上下文管理。

然而，该任务面临的主要挑战在于识别“异质性边界线索”（heterogeneous boundary cues）。这些线索包括：

1. 局部词汇信号：话语（utterance）边缘附近的词汇转换。
2. 语义不连续性：话语之间在语义层面的断裂或跳跃。

现有的基于话语的模型（utterance models）往往倾向于平滑处理局部信号，导致这些细微但关键的边界特征被稀释或丢失。此外，虽然大型语言模型（LLM）在理解上下文方面表现优异，但在实际部署中，依赖 LLM 进行推理往往带来高昂的计算成本和延迟，难以满足实时性要求较高的应用场景。

核心内容

为了解决上述问题，研究团队提出了 CobSeg（Coherence Boundary Modeling），这是一种新颖的多分支架构，旨在更精准地捕捉对话中的主题边界。

1. 架构设计：分离与恢复

CobSeg 的核心创新在于其多分支架构设计，它明确地将两个不同层面的信号分离开来：

• 连贯性语义连续性（Coherence-level semantic continuity）：关注话语内部及话语间深层的语义连贯性。
• 词汇边界转换（Lexical boundary transitions）：关注表层词汇层面的突变和转换。

通过这种分离，模型能够分别处理这两种信号，并通过方向性边界预测（directional boundary prediction）将它们重新整合，从而更准确地定位主题切换点。

2. 增强机制

为了进一步提升性能，CobSeg 引入了两个关键机制：

• 边界信息量加权（Boundary informativeness weighting）：该机制用于强调那些具有高信息量的话语位置，使模型更加关注对边界判定有决定性贡献的话语。
• 语料库派生的主题连贯性线索（Corpus-derived topic coherence cue）：模型结合了从大规模语料库中提取的主题连贯性线索，并采用学习到的组合权重（learned combination weights）来动态调整不同线索的重要性。

3. 训练与推理模式

CobSeg 被设计为一个紧凑的可训练分割器，支持两种训练设置：

• 监督学习（Supervised gold-boundary training）：使用人工标注的黄金边界进行训练。
• 伪标签设置（Pseudo-label setting）：使用自动诱导的边界（automatically induced boundaries）进行训练，这在实际无标注数据场景中非常实用。

值得注意的是，CobSeg 在推理阶段无需调用 LLM（without LLM calls during inference）。这意味着它在保持高性能的同时，显著降低了计算资源消耗和延迟，适合部署在资源受限的环境中。

关键要点

• 多分支解耦：CobSeg 通过多分支架构分离了语义连贯性和词汇边界转换，并通过方向性预测进行融合，解决了现有模型稀释局部词汇信号的问题。
• 加权与线索增强：引入边界信息量加权以突出高价值话语，并结合语料库主题连贯性线索及自适应组合权重，提升了边界的判别能力。
• 高效推理：作为非 LLM 方法，CobSeg 在推理阶段不需要调用大型语言模型，实现了高性能与低延迟的平衡。
• 广泛的基准测试：在五个基准数据集上进行了评估，涵盖了黄金边界监督和自动诱导边界两种设置。
• 显著的性能提升：
  • 在黄金监督下：在 VHF 数据集上，$P_k$ 指标降低了 0.7 点，$W_d$ 指标降低了 0.6 点；在 DialSeg711 数据集上，$P_k$ 达到了完美的 1.0。
  • 在自动诱导边界下：在 VHF 数据集上 $P_k$ 大幅降低了 14.8 点，在 DialSeg711 上降低了 1.5 点，在 TIAGE 上降低了 1.1 点。
• 超越现有非 LLM 方法：在自动诱导边界的设置下，CobSeg 的性能优于之前所有非 LLM 的方法，证明了其在实用场景中的强大竞争力。

意义与影响

CobSeg 的提出对对话理解和人机交互领域具有重要的理论和实践意义。

首先，它证明了显式建模局部词汇线索与深层语义连贯性的分离与融合是提升主题分割精度的有效途径。这一架构设计为后续研究如何处理多粒度语言特征提供了新的思路。

其次，CobSeg 在无需 LLM 调用的情况下实现了超越以往非 LLM 方法的性能，甚至在与黄金标准对比时表现出极高的精度（如 DialSeg711 上的 $P_k=1.0$）。这表明，通过精心设计的架构和特征工程，轻量级模型依然可以在特定任务上达到或接近 SOTA（State-of-the-Art）水平。这对于降低部署成本、提高系统响应速度以及保护用户数据隐私（无需将数据发送至 LLM 服务器）具有巨大的商业价值。

最后，CobSeg 在自动诱导边界设置下的优异表现，使其特别适用于大规模无标注对话数据的处理。在实际应用中，获取大量人工标注的黄金边界数据往往成本高昂且耗时，CobSeg 的这种能力使其成为构建可扩展对话分析系统的理想选择。