Self-supervised Speech Comparison for L2 Phone, Rhythm, and Intonation Scoring

背景

第二语言（L2）语音评估是计算机辅助语言学习的重要领域。传统方法主要聚焦于音素层面的准确性（即发音的段性特征），而对韵律层面的超音段特征——如节奏和语调——的评分研究相对不足。此外，现有评估方法往往依赖带有标签的L2语音数据进行训练，这在低资源语言或场景下难以推广。因此，探索一种无需文本转录、无需大量标注数据的通用评估框架具有实际意义。

核心内容

本研究探索了基于自监督WavLM表示和动态时间规整（DTW）的方法，用于英语和日语L2语音的音素准确性、节奏和语调的评分。具体而言：

• 音素评分：将学习者语音与母语者模板进行DTW匹配，通过比较对齐路径上的特征相似度来评估音素准确性。实验结果显示，这种基本的DTW方法在整体评分和句子级音素评分上，甚至超过了人类评分者之间的一致性。
• 节奏评分：引入若干度量指标，通过分析DTW对齐路径中的“扭曲程度”来量化节奏差异。其中最佳方法达到了接近人类水平的评分性能。
• 语调评分：结合基于韵律残差的DTW距离、基频（pitch）和强度（intensity）特征，构建语调评分模型。但在某些任务上，其表现仍较为有限。

整个框架无需文本（text-free），仅依赖自监督语音表征（WavLM），从而避免了转录错误或语言资源限制。

关键要点

• 自监督语音表示（WavLM）结合DTW提供了一个无需文本、无需标注L2数据的多维度发音评估方案。
• 在音素评分上，DTW方法已超越人类评分者的一致性，证明了其作为基线方法的有效性。
• 节奏评分通过测量DTW对齐路径的扭曲度，实现了接近人类的表现。
• 语调评分虽融合了韵律残差、pitch和强度特征，但性能提升有限，仍是挑战。
• 该方法在英语和日语两种语言上均进行了验证，展示了跨语言适用性。

意义与影响

该研究为L2语音评估领域开辟了新的方向。首先，利用自监督表征避免了传统方法对文本转录和标注数据的依赖，特别适用于低资源语言。其次，DTW框架天然支持多维度评分（音素、节奏、语调），而无需为每个维度单独设计模型。最后，尽管语调评分尚不完美，但整体结果提示自监督表示是构建无文本、多维度发音评估系统的一种有前景的基础。未来可进一步优化语调模型，或探索更丰富的韵律特征，以提升评估的全面性和准确性。