资料摘要：CosyVoice
首个将监督语义语音 token 引入 TTS 的工作，提出 LLM + 条件流匹配的两阶段零样本语音合成架构，在内容一致性和说话人相似度上超越无监督 token 方案。 🔒 CosyVoice - A Scalable Multilingual Zero-shot TTS based on Supervised Semantic Tokens
- 首次将监督语义 token 引入 TTS：利用 ASR 模型（SenseVoice）在编码器中插入向量量化（VQ），产出包含明确语义信息和对齐关系的离散语音 token（S³ token），比传统的无监督 token（如 EnCodec、HuBERT）显著提升内容一致性和说话人相似度。
- 两阶段架构：文本→token 的自回归 LLM + token→梅尔频谱的条件流匹配（OT-CFM）模型 + HiFiGAN 声码器，无需额外的音素化工具和强制对齐器。
- 说话人/语义/韵律解耦：x-vector 说话人嵌入捕获音色信息，LLM 负责语义和韵律，流匹配模型引入声学和环境信息。
- 规模化能力：大规模多语言数据（13 万小时中文 + 3 万小时英文 + 其他语言）进一步提升性能。
- 指令控制：支持说话人身份、说话风格（情感、语速、音高）和细粒度副语言特征（笑声、呼吸、强调）的控制。
LLM-based TTS 的主流范式是将语音信号离散化为 token 序列，由 LLM 以文本为条件建模，再由 vocoder 重建波形。关键问题在于语音 token 的质量 — 此前的主流 token 都是无监督学习的（EnCodec、HuBERT 等），缺乏明确的语义信息和对齐到文本的能力。
1. 监督语义语音 Tokenizer (S³)
- 基于 SenseVoice ASR 模型，在编码器第 6 层后插入向量量化层
- 单一码本，4096 个码字
- 训练时保持 ASR 解码器，通过 ASR loss 监督 token 保留语义信息
- Token 率 25Hz
2. 文本-语音语言模型 (LM)
- 序列构造：
[S, 说话人嵌入v, 文本编码, T, 语音token, E] - 自回归预测语音 token，仅计算语音 token 的交叉熵损失
- 文本编码器用于对齐文本和语音的语义空间
- x-vector 作为说话人嵌入分离音色信息
3. 最优传输条件流匹配 (OT-CFM)
- 替代 DDPM，训练更快、生成更简单
- 条件：说话人嵌入 v、语音 token μ、掩码梅尔频谱 X̃
- 余弦调度器使初始生成步更多
- Classifier-free guidance (强度 0.7)
4. 零样本上下文学习
- 同语言：prompt 文本+语音 token 拼接 → 自回归生成
- 跨语言：抛弃 prompt 文本和 token，仅保留说话人嵌入和 prompt 音频的梅尔频谱，避免源语言韵律干扰
| 语言 | 时长（小时） |
|---|---|
| 中文 | 130,000 |
| 英文 | 30,000 |
| 粤语 | 5,000 |
| 日语 | 4,600 |
| 韩语 | 2,200 |
指令训练数据：说话人身份 101 小时、说话风格 407 小时、细粒度副语言 48 小时。
关键实验结果
Section titled “关键实验结果”- LibriTTS test-clean：WER 2.89%（人类水平 2.66%），说话人相似度 74.30（超过人类 69.67）
- ASR re-ranking 后 WER 降至 1.51%
- 中文 AISHELL-3：CER 3.82%，说话人相似度 81.58
- 情感控制准确率：CosyVoice-instruct 在 6 类情感上远超 base 版本
- 可作为数据生成器训练 ASR 模型，合成数据 + 原始数据显著提升 ASR 性能
- WER: 2.89%（英）/ CER: 3.82%（中）
- 说话人相似度超越人类基准
- 4096 码字 VQ tokenizer，token 率 25Hz
- 最大模型：14 层 LLM，1024 维注意力，4096 FFN
- 资料摘要：CosyVoice 2 — 流式改进版
- 资料摘要：CosyVoice 3 — 百万小时规模化版
- S³ Tokenizer（监督语义语音分词器）
- 条件流匹配（CFM）
- CosyVoice 系列对比 — 三代演进全景对比
- Wiki 目录