Speech Playground：交互式语音分析与对比工具上线

Speech Playground: An Interactive Tool for Speech Analysis and Comparison

背景
Praat 作为经典的交互式语音分析工具，在语音研究和计算机辅助发音训练（CAPT）领域应用广泛，深受用户喜爱。但随着深度学习在语音处理中快速发展，出现了大量自监督学习（SSL）表征、发音特征以及其他新型表示，这些工具与现代深度学习表示的整合以及用于比较两段话语的便利性存在不足。研究者往往需要依赖 Python 后端编码器、对齐代码和临时可视化脚本来处理这些工作，流程繁琐且重复。Speech Playground 正是在此背景下应运而生，旨在提供一个统一的交互环境，帮助研究人员更轻松地探索和对比语音特征。

核心内容
Speech Playground 是一款交互式语音可视化和比较工具，由 Python 后端和基于 Web 的前端组合而成。它支持多种语音特征类型，包括连续、离散和可变长度表示，并提供 TextGrid 格式支持与强制对齐功能，同时允许用户灵活配置距离度量和对齐设置，实现视觉和听觉上的比较。工具分为两种模式：Analysis 模式用于单轨可视化（展示波形、注释和编码器生成的层级），Diff 模式则专门用于两段话语的对比和对齐。

其架构包括三个主要组件。前端采用 SvelteKit 开发，结合 WaveSurfer.js 用于波形可视化，并使用 IndexedDB 持久化用户上传的录音和元数据（如转录文本和 TextGrid 文件）。后端是 FastAPI 服务器，通过暴露语音处理端点（如编码、分割和对齐），按需懒加载模型以实现快速启动和迭代。核心的 speech-processing 库为特征提取器（称为 encoders）提供统一接口，每个 encoder 将音频波形映射为连续的帧级或段级表示。内置 encoders 包括自监督学习表征、发音特征、音位特征，以及来自 SSL 的可变长度表示（如 ZeroSyl）。用户可将这些表示转换为离散单元，或按更粗的变量长度段进行分组。

在 Diff 模式下，库中包含用于话语比较的函数：计算相似性矩阵，并执行离散或段级对齐，生成插入、删除和替换的差异。用户可以切换距离度量和对齐配置，包括全局和半全局匹配。对于固定速率表示，默认使用动态时间规整（DTW，via dtw-python）；对于可变长度段级表示和离散分词，则支持其他对齐方法。强制对齐功能（可选）需要额外后端服务器，具体参见工具仓库。

用户工作流十分直观：上传录音并管理库中的轨迹后，选择模式和配置。当任何配置变化时，选定轨迹会自动重新编码并对比（在 Diff 模式下）。可视化界面支持缩放、滚动，用户可通过拖拽波形或间隔段播放音频。在 Diff 模式中，按住 Shift 键可同时播放两轨迹的对应音频段。高级示例包括对齐后的音位向量或发音反演特征，可直观展示两段话语在特定帧级差异（如发音器官位置），帮助解释变异、验证表示是否捕捉特定对比并与音频行为一致。

工具旨在服务于三种场景：语音研究（对比其他工具未提供的特征，并用 Diff 模式解释参考话语的变异）；表示验证（检查表示是否捕捉对比或与音频一致）；以及 CAPT 导向实验（用 Diff 模式展示模型发音与学习者发音的差异点和方式）。

关键要点

• 工具结合 Python 后端与 Web 前端，实现对连续、离散和可变长度语音特征的交互式探索。
• 支持 TextGrid 注释和强制对齐，配置距离度量和对齐设置（包括 DTW 等），实现视觉与听觉对比。
• 提供 Analysis（单轨可视化）和 Diff（两轨对比与对齐）两种模式，界面直观，支持波形、层级注释和交互播放。
• 内置多类 encoders（SSL、发音、音位、可变长度如 ZeroSyl），并支持离散化和分段分组。
• 架构包括前端（SvelteKit + WaveSurfer.js + IndexedDB）、后端（FastAPI + 自定义 speech-processing 库）和可选强制对齐服务。
• 设计用于语音研究、表示验证和 CAPT 实验，强调易扩展性和统一环境。
• 可扩展性强，用户可轻松切换配置并实时更新对比结果。

意义与影响
Speech Playground 填补了现代语音深度学习表征与传统分析工具之间的对接空白，极大简化了研究工作流程，使研究者无需再为不同表示编写定制化代码。其 Diff 模式特别适用于直观展示话语差异，这对理解语音变异、验证模型表征以及设计更有效的 CAPT 工具具有重要意义。工具的交互式 Web 界面和跨平台支持，有望促进语音研究社区的协作与创新，尤其在未来探索更多新兴表征（如新型 SSL 模型或跨语言对比）时。最终，它为语音科学、人工智能驱动的语音技术以及教育应用提供了强大且易用的实验平台，推动领域向更高效、数据驱动的方向发展。