FreyaTTS Technical Report
AI 深度解读
背景
文本到语音合成（TTS）领域近年来取得了显著进展，尤其是基于扩散模型和Transformer的架构在自然度和可控性上超越了传统方法。然而，现有系统普遍依赖复杂的预处理管线，包括音素化器（phonemizer）、字素到音素（grapheme-to-phoneme, G2P）前端或离散语音标记器（discrete speech tokenizer）。这些组件不仅增加了系统复杂度，还在跨语言迁移时引入错误，尤其对语料匮乏的语言（如土耳其语）构成挑战。土耳其语属于黏着语，词形变化丰富，但公开可用的高质量TTS数据集极少，现有开源模型在该语言上的表现往往较差。此外，大多数高性能TTS模型体积庞大，难以在资源受限的边缘设备上实时运行。
在此背景下，Freya-TTS应运而生——一个紧凑、无需标记器、以土耳其语为核心的非自回归文本转语音模型，旨在同时解决可靠性、效率与低资源语言覆盖的问题。
核心内容
Freya-TTS是一个仅183.2M参数的非自回归条件流匹配扩散Transformer（Diffusion Transformer, DiT）。其核心创新在于完全在AudioVAE2的冻结连续潜空间（frozen continuous latent space）中操作：AudioVAE2以16 kHz编码、48 kHz解码，使模型能够将全部容量集中于“文本到潜表示”的映射，同时继承高质量的48 kHz波形重建能力。
模型沿三个关键维度推进：
-
无规则端到端建模
Freya-TTS直接使用包含92个字符的土耳其语字符词汇表进行建模，完全不需要音素器、G2P前端或离散语音标记器。这意味着模型从原始字符序列直接学习到潜空间的映射，避免了传统管线中因规则拼写与发音不一致导致的误差。 -
非自回归并行去噪
模型采用条件流匹配（Conditional Flow Matching）训练一个扩散Transformer，在推理时通过预测的时长，一次性并行去噪生成整个潜序列。这与自回归系统逐步生成token的方式截然不同，显著提升了推理速度，同时避免了误差累积。 -
面向生产的两阶段后训练
论文提出了一种工业级的两阶段微调策略：
- 单说话人语音锁定（Single-speaker Voice Locking）：在特定说话人数据上微调，强制模型输出一致音色。
- 短话语覆盖（Short-utterance Coverage）：针对短输入进行专门优化，提升模型在真实场景中处理简短语句时的鲁棒性。
在自建的 Freya-TR-Eval 基准上，Freya-TTS达到8.0%的波段匹配词错误率（WER）和3.0%的字符错误率（CER）。这一表现优于参数规模大得多的开源TTS系统（如YourTTS、VITS等），而参数量仅为它们的几分之一。在消费级GPU上，模型实现0.11的实时因子（RTF），在笔记本CPU上也能超过实时速度，非常适合资源受限的边缘部署。
Freya-TTS的模型权重、训练/推理代码以及评估基准均以Apache-2.0许可开源。
关键要点
- 紧凑高效：183.2M参数，非自回归DiT，实时因子0.11（GPU），笔记本CPU上快于实时。
- 无需标记器/前端：直接基于92个土耳其语字符进行端到端建模，摒弃音素器和G2P组件。
- 连续潜空间：在AudioVAE2的冻结连续潜空间操作（16 kHz编码/48 kHz解码），避免离散化信息损失。
- 两阶段后训练：单说话人语音锁定 + 短话语覆盖，提升生产环境中的一致性与鲁棒性。
- 语言优先级：首次以土耳其语为核心设计，在Freya-TR-Eval上达到WER 8.0%、CER 3.0%，优于更大规模的通用开源系统。
- 完全开源：权重、代码、基准均以Apache-2.0开放，便于复现与下游应用。
意义与影响
Freya-TTS在三个层面具有示范意义：
-
低资源语言的TTS范式
土耳其语属于语料稀缺的语言，Freya-TTS证明了通过纯字符级建模、无需规则依赖的扩散架构，同样可以产出高质量语音合成。这为其他低资源语言（尤其语内形态复杂的语言）提供了一条可复制的路径。 -
边缘部署友好
在消费级GPU和笔记本CPU上均能实时运行，结合紧凑的模型体积，使Freya-TTS非常适合智能音箱、车载系统、移动设备等离线或低延迟场景。其非自回归并行生成特性天然适合批处理与流式部署。 -
去复杂化系统设计
传统TTS系统因引入音素器、G2P、离散标记器而变得脆弱且维护成本高。Freya-TTS通过端到端的连续潜空间映射，大幅简化了训练和推理管线，降低了工程落地门槛。 -
开源生态贡献
开源模型权重、完整代码与专属评估基准（Freya-TR-Eval），不仅促进学术复现，也允许工业界快速微调适配其他语言或说话人。Apache-2.0许可进一步降低了商用顾虑。
总之，Freya-TTS展示了“小模型+流匹配DiT+连续潜空间”这一组合在特定语言TTS上的巨大潜力，为未来边缘智能和低资源多语言TTS拓展提供了坚实的技术基础。