Clusters are All You Need：利用语言模型的语义簇预训练 Tsetlin Machine 以提升可解释性

背景

在自然语言处理（NLP）领域，预训练语言模型（如 BERT）在文本分类等任务上取得了卓越的性能。然而，这些基于深度神经网络的模型通常被视为“黑盒”，缺乏透明度。这种不透明性限制了它们在医疗、法律、金融等高 stakes（高风险/高责任）场景中的应用，因为这些领域往往要求模型不仅给出结果，还要提供清晰、可信的推理依据。

为了解决可解释性问题，Tsetlin Machine（TM）作为一种基于逻辑推理的机器学习模型应运而生。TM 通过生成完全可解释的“子句”（clauses）来进行决策，能够明确展示哪些特征导致了特定的分类结果。尽管 TM 在可解释性方面表现优异，但其原始形式难以捕捉复杂的语义信息，导致在复杂文本任务上的性能远不及深度学习模型。

此前，研究者尝试将静态词嵌入（static word embeddings，如 Word2Vec 或 GloVe）引入 TM 以弥补语义理解的不足。然而，静态嵌入无法捕捉词语在上下文中的动态含义（即语境意义），这成为了制约 TM 性能提升的关键瓶颈。

核心内容

本文提出了一种全新的语义预训练框架，旨在将预训练语言模型（PLM）中的知识迁移到 Tsetlin Machine 中，且完全不依赖传统的词嵌入向量。该方法的核心思想是利用语言模型生成的语义簇（Semantic Clusters）来指导 TM 的学习过程。

1. 语义簇的构建

研究团队首先利用无监督聚类算法，将文本样本划分为具有语义一致性的簇。具体采用的方法包括：

• K-means：基于距离度量的传统聚类。
• Top2Vec：一种基于文档嵌入的聚类算法，能够发现文档中的潜在主题。

通过这种方式，模型不再孤立地看待单个单词或句子，而是将具有相似语义背景的样本分组。这些“簇-样本对”（cluster-sample pairs）构成了预训练的基础数据单元。

2. 非否定 Tsetlin Machine 的预训练

在获得语义簇后，研究团队对 Tsetlin Machine 进行了特定的架构调整与训练：

• 非否定结构（Non-negated TM）：采用非否定形式的 TM 结构，简化了逻辑表达。
• 增强型 I 类反馈（Enhanced Type I Feedback）：在训练过程中引入增强的反馈机制，使 TM 能够更有效地从语义簇中学习。

通过这种预训练方式，TM 能够学习到具有可解释性的“语义关键词”（semantic keywords）。这些关键词并非简单的统计频率，而是与特定语义簇紧密关联的逻辑特征。

3. 下游任务微调

预训练完成后，TM 中习得的语义关键词被用于下游的具体分类任务。在这一阶段，模型会对预训练得到的逻辑规则进行微调（fine-tuning），以适应特定数据集的分布，从而在保持可解释性的同时提升分类精度。

关键要点

• 零嵌入依赖：该方法最大的创新在于完全摒弃了传统的词嵌入向量，转而利用预训练语言模型生成的语义簇作为知识迁移的载体。
• 语义与可解释性的平衡：通过聚类将上下文语义信息结构化，TM 能够学习到既具备语义深度又逻辑清晰的规则，解决了传统 TM 语义捕捉能力弱的问题。
• 增强反馈机制：引入增强型 Type I 反馈机制，优化了 TM 从语义簇中提取特征的学习效率。
• 跨数据集验证：该方法在五个不同的数据集上进行了实验验证。
• 性能对比优势：
  • 显著优于原始的（vanilla）Tsetlin Machine。
  • 显著优于基于嵌入的 Tsetlin Machine 变体。
  • 在保持完全可解释性的前提下，其性能达到了与 BERT 模型相竞争的水平。

意义与影响

这项研究在可解释人工智能（XAI）和自然语言处理的交叉领域具有重要的理论与实践意义：

1. 突破“黑盒”限制：它证明了在不牺牲模型透明度的前提下，可以达到接近最先进深度学习模型（如 BERT）的性能水平。这对于需要严格审计和推理依据的高风险应用场景（如临床诊断辅助、司法判决支持）提供了新的技术路径。
2. 重新定义知识迁移：传统的方法多依赖向量空间的几何相似性进行知识迁移，而本文提出的基于“语义簇”的方法提供了一种新的范式，即通过离散化的逻辑结构来承载连续的语义信息。
3. 降低部署门槛：Tsetlin Machine 基于布尔逻辑，计算开销通常低于大型神经网络。结合预训练带来的性能提升，该方法有望在资源受限的环境中部署高性能且可解释的 NLP 系统。
4. 方法论启示：研究展示了如何利用预训练语言模型的内部表征（通过聚类提取）来增强传统机器学习模型，为未来结合深度学习语义理解与传统符号推理模型提供了宝贵的参考案例。