超声波实现无声语音交流

背景

传统的语音交互虽然高效，但存在一个根本性缺陷：在公共场合说话会泄露隐私。耳机让听音乐变得私密，但说话时旁人仍能听到。随着AI理解自然语言的能力增强，人们正像科幻电影中那样直接与计算机对话（如Wispr Flow、ChatGPT语音），但公共场合的语音交互仍受限制。一种解决方案是“无声语音”——仅通过舌头、嘴唇等发音器官的运动来识别说话内容，而不发出声音。

现有的无声语音检测方法包括肌电图（EMG）、雷达、唇读等，但各有局限：EMG和雷达信号嘈杂，需要从间接测量中推断发音；唇读虽然准确率较高（在100万小时数据集上词错误率12.5%），但仅依赖嘴唇形状，只能区分约10–14种可视形状。而舌头才是语音信息的核心——英语的40个音素中，约34个音素类别由舌头位置决定（某些音素如/t/和/d/、/s/和/z/主要靠声带振动区分，但舌头根部仍有细微差异）。因此，直接观察舌头的超声波成像技术具有独特优势：它清晰、干净地显示舌头运动，无需间接推断，并且可以实现“隐形”的无声语音——旁人甚至无法察觉你正在说话。

核心内容

Vadims Casecnikovs、Gimran Abdullin、Raffi Hotter、Lev Chizhov 等人在2026年7月发布了一项研究：他们训练了一个模型，能够从说话者保持沉默时舌头超声视频中预测语音。在开放词汇语音任务上，该系统实现了15.6%的词错误率（WER）。作为对比，唇读在100万小时数据集上的WER为12.5%。尽管该团队仅用50小时数据、一个月内完成早期探索，但结果已接近现有方法。

数据收集：团队自建了无声语音的超声舌部成像数据集。数据需满足两个苛刻条件：（1）超声记录必须清晰显示舌头；（2）说话者必须确实说出了预定的文本。实际收集时，人们容易疲劳、含糊发音、未正确握持探头，因此难度超出预期。他们决定先收集“有声”语音数据（即说话者正常发声）——因为通过音频可以方便地验证是否说对了词。对比发现，无声和有声的舌头运动模式相似，因此可以用有声数据训练模型，再泛化到无声场景。质量控制方面：通过音频转录检查文本匹配度，并用实时超声质量分类器检测探头位置不良或耦合问题，同时有监督员通过实时仪表盘监控。最终收集了50小时数据：人们大声朗读合成生成的短篇故事（而非孤立短语），因为故事更自然、词汇更丰富、句子结构更多样。

模型训练：任务是将舌头超声视频映射为文本。团队没有从头训练，而是基于预训练模型：视频编码器使用ResNet-18 2+1d，解码器使用Whisper Base（一个强大的语音转文本模型）。他们训练视频编码器的嵌入向量，使其尽可能接近Whisper编码器对对应音频输出的嵌入向量，从而将视频嵌入“翻译”到Whisper的嵌入空间。由于数据有限，他们使用了最小的Whisper解码器。早期训练不稳定，模型要么崩溃，要么过度依赖语言先验。但在约2万样本后，开始出现有意义的错误：“a key stick”代替“acoustic”，“heart”代替“hard”等。这些错误表明模型正在从信号本身泛化，学习音系结构，而非仅仅预测常见词序列。

结果：通过更多数据、更多消融实验、更好的模型和后处理（如生成多个候选输出、束搜索、句子长度感知、用LLM作为裁判），在内部开放词汇跨说话者验证集上达到15.6% WER。作为对比，最接近的仅超声跨说话者基线（TaL数据集）报告83.8% WER。该系统的WER随数据量增加持续下降：从15k样本时的102%降至50k样本时的15.6%，且未见饱和趋势。此外，他们意外发现模型能泛化到新说话者（只要他们讲美式英语），朋友可以直接拿起探头使用，无需重新训练。

未来挑战：目前仍是早期原型，非消费产品。两大硬件挑战：减小超声探头尺寸和重量，以及用更实用的耦合材料（如水凝胶）替代超声凝胶。团队认为两者均可解决，最终探头可成为轻量级可穿戴设备或贴片。当前版本对非美式口音表现不佳，但更多数据、更好模型和更小硬件有望推动其从研究演示走向日常应用。

关键要点

• 技术路径：利用超声舌部成像直接捕捉舌头运动，通过预训练模型（ResNet-18 2+1d 视频编码器 + Whisper Base 解码器）将视频映射为文本，实现无声语音识别。
• 数据策略：收集50小时有声语音数据（朗读故事），通过音频验证文本正确性，并利用无声/有声舌部运动相似性，使模型可泛化到无声场景。
• 性能表现：在开放词汇跨说话者任务上词错误率15.6%，接近唇读（12.5%，但需100万小时数据），远超仅超声基线（83.8% WER）。
• 意外发现：模型能直接泛化到新说话者（美式英语），无需额外训练，表明其具有一定的跨人鲁棒性。
• 可扩展性：WER随数据量增加持续下降（15k→50k样本，102%→15.6%），未见饱和，说明增加数据可进一步提升性能。
• 硬件瓶颈：当前超声探头体积大、需凝胶耦合，未来需缩小至可穿戴贴片或轻量级设备。
• 隐私优势：可实现“隐形”无声语音——旁人无法察觉说话，类似于耳机让听音乐私密化。
• 局限性：仅对美式英语有效，非美式口音效果差；仍为研究原型，非消费产品。

意义与影响

这项研究展示了无声语音交互的巨大潜力，尤其是在隐私保护方面。与现有方案相比，超声舌部成像直接观察舌头，信息量远高于唇读（34个舌头音素类 vs 10-14个唇形），且信号干净、无需间接推断。如果硬件问题得以解决（微型化、凝胶替代），未来人们将可以像戴耳机一样佩戴一个“无声语音”贴片，在公共场合私密地与计算机对话——只需动动舌头，无需出声。

从技术角度看，该工作验证了“预训练模型+少量领域数据”范式在无声语音领域的有效性：仅用50小时数据和一个月训练，就达到了接近大规模唇读系统的水平。这为其他生物信号（如EMG、脑电）的语音解码提供了参考。跨说话者泛化能力也表明，模型学到了通用的舌部运动模式，而非记忆特定说话者。

长远来看，无声语音可能改变人机交互方式：在嘈杂环境（工厂、街道）、安静场合（图书馆、会议室）、或需要保持安静的场景（医院、电影院）中，用户无需开口即可与设备交流。结合AI助手的自然语言理解能力，这将使“无声语音助手”成为现实。当然，技术成熟还需克服口音适应性、硬件成本和用户接受度等挑战，但该研究无疑是迈向这一方向的重要一步。