多集群边界学习结合MiniLM嵌入检测OOS意图

基于 MiniLM 的多簇边界学习方法用于超出范围意图检测

来源： arXiv cs.CL (2026 年 7 月 8 日提交)

背景

在人机交互系统中，意图检测（Intent Detection）是一项关键任务，它将用户的自然语言意图映射到系统的具体动作。然而，现实场景中常出现超出训练已知意图范围的未知意图，即超出范围（Out-of-Scope, OOS）意图。传统的 OOS 意图检测方法通常将其视为多类分类问题，但存在两个主要挑战：

1. 类别数增加导致准确率下降：当已知意图类别数量增加时，传统多类分类器对 OOS 样本的区分能力会显著降低，因为分类边界越来越复杂，难以有效拒绝未见过的意图。
2. 大模型嵌入方案难以部署：基于大型语言模型（LLM）的嵌入方法虽然性能较好，但模型参数量巨大，训练和实际部署成本高，难以在资源受限的场景中落地。

为此，本文提出了一种轻量级、高效的 OOS 意图检测方法，利用 MiniLM 嵌入结合多簇边界学习，在单类分类（One-Class Classification）框架下实现高性能的 OOS 检测。

核心内容

本文提出了一种多簇边界学习方法（Multi-cluster Boundary Learning Method），通过 MiniLM 嵌入（具体为 all-MiniLM-L6-v2 模型）生成训练话语的嵌入向量，然后学习这些嵌入向量所形成的多个簇的边界，将落在边界之外的域外话语判定为 OOS 意图。

方法流程

1. 嵌入生成：使用 MiniLM（一种轻量级 Transformer 模型，参数量远小于传统 LLM）对训练集中的已知意图话语进行编码，得到低维、语义丰富的嵌入向量。
2. 多簇聚类：由于同一意图的话语可能在嵌入空间中形成多个子簇（例如同一意图的不同表述方式），方法不假设所有已知意图形成一个单簇，而是通过聚类算法自动识别每个意图对应的多个簇。
3. 边界学习：对每个簇学习一个紧凑的边界，通常采用支持向量数据描述（SVDD）或基于距离的阈值方法，使得边界内部尽可能包含所有已知意图样本，而边界外部的样本则被判定为 OOS。
4. OOS 检测：在推理阶段，对输入话语计算嵌入向量，判断其是否落在所有已知簇的边界内；若落在所有边界之外，则判定为 OOS 意图。

实验设置与结果

• 数据集：使用三个公开基准数据集：
  • CLINC150：包含 150 个已知意图和 OOS 样本，是 OOS 检测的标准基准。
  • StackOverflow：包含 20 个已知意图（编程语言标签）及 OOS 样本。
  • Banking77：包含 77 个银行领域意图及 OOS 样本。
• 对比基线：包括传统多类分类方法（如 Softmax 分类器）、基于距离的方法（如 Mahalanobis 距离）以及多种 LLM 嵌入方法。
• 核心结果：本文方法在所有三个数据集上均取得了最先进的 OOS 检测性能，在 F1 分数和准确率上显著优于对比基线。
• 消融研究：通过替换不同的嵌入模型（如 BERT、Sentence-BERT 等），发现 MiniLM 在该工作流中表现最佳，既保持了良好的语义表征能力，又具有轻量级的训练和推理效率。

代码可用性

论文附有补充材料，其中提供了完整代码，便于复现和进一步研究。

关键要点

• 轻量级嵌入：采用 MiniLM（all-MiniLM-L6-v2）作为嵌入模型，参数量仅为 22M，远小于 BERT-base（110M）或更大的 LLM，却能达到甚至超越后者的 OOS 检测效果。
• 多簇而非单簇：针对同一意图可能存在的多个语义子簇（例如不同句式或语境），方法通过聚类自动学习多簇边界，比传统单簇方法（如单类 SVM）更贴合真实数据分布。
• 单类分类框架：将 OOS 检测转化为单类分类问题，即只为已知意图学习边界，无需对未知意图进行建模，避免了传统多类分类中因类别数增多而导致的性能退化。
• 三个公开基准上的 SOTA：在 CLINC150、StackOverflow、Banking77 上均取得最佳结果，验证了方法的通用性和鲁棒性。
• 消融实验验证：对比不同嵌入模型，MiniLM 在该框架下表现最优，表明其轻量化设计与多簇边界学习方法高度适配。

意义与影响

• 推动 OOS 检测的实际部署：该方法在保持高性能的同时大幅降低了模型复杂度和计算成本，使得 OOS 检测可以更容易地嵌入到资源受限的对话系统、客服机器人、智能助手等实际产品中。
• 解决多类分类的固有局限：传统方法将 OOS 检测视为多类分类的一个“兜底”类别，但已知意图增多后类间混淆严重。本文的单类分类思路提供了一种更简洁、鲁棒的替代范式。
• 启发轻量化嵌入的潜力：MiniLM 的成功表明，在大模型盛行的背景下，针对特定任务设计的轻量级模型同样可以取得卓越效果，为低资源场景下的 NLP 研究提供了新方向。
• 可复现性与社区贡献：提供完整代码和补充材料，有助于学术界快速复现和进一步改进，促进 OOS 意图检测领域的标准化基准对比。