资料摘要：CosyVoice 2
在 CosyVoice 基础上引入有限标量量化（FSQ）替代 VQ、以预训练 LLM（Qwen2.5-0.5B）为骨干、设计分块感知因果流匹配统一流式/非流式合成，首次实现流式零样本 TTS 的人类水平自然度。 🔒 CosyVoice 2 - Scalable Streaming Speech Synthesis with Large Language Models
- 统一流式/非流式框架：通过流式 LM 的序列构造（N:M 交错文本/语音 token）+ 四种因果掩码策略的流匹配模型，单模型同时支持离线高质合成和流式低延迟合成。
- FSQ 替代 VQ：有限标量量化实现码本 100% 利用率（VQ 仅 23%），保留更多语义信息，ASR 错误率大幅下降。
- LLM 架构极简化：移除文本编码器和说话人嵌入，由 Qwen2.5-0.5B 直接作为骨干，说话人建模完全交由流匹配模型，避免信息泄露。
- 流式首包延迟低至 150ms：适用于语音聊天等实时交互场景。
- 升级的指令控制：情感、口音、方言、角色扮演 + 细粒度控制（
[laughter],[breath],<strong>），自然语言指令集成在单一模型中。
相比 CosyVoice 1 的核心改进
Section titled “相比 CosyVoice 1 的核心改进”1. 语音 Tokenizer：VQ → FSQ
- FSQ 将中间表示投影到低维空间后做有界舍入量化
- 码本利用率 100%（4096 码字的 VQ 仅用 963 个）
- FSQ token 更好地保留了语义信息，VoxCeleb 可视化验证了说话人信息的解耦
2. 统一流式/非流式 LM
- 非流式：
[S, 全部文本token, T, 全部语音token, E] - 流式：
[S, N文本, M语音, N文本, M语音...]，N=5, M=15 - 文本-语音 LM 同时训练两种序列构造，推理时切换模式
- ICL 和 SFT 场景各有流式/非流式四种推理策略
3. 分块感知因果流匹配
- 上采样语音 token（2×，从 25Hz→50Hz）+ 前瞻卷积（pad=4）
- 四种因果掩码：Non-causal / Full-causal / Chunk-M / Chunk-2M
- 训练时随机采样掩码类型，隐式自蒸馏
- 推理时首块用 Chunk-M（更低延迟），后续块用 Chunk-2M（更高质量）
4. 强化学习微调
- 引入 DPO 优化发音准确率和说话人相似度
- 提出可微 ASR 奖励：将预测 token 恢复到量化表示 → 过 ASR 后端 → 直接优化 LM 参数
- Gumbel-Softmax 使采样可微
| 语言 | 时长（小时） |
|---|---|
| 中文 | 130,000 |
| 英文 | 30,000 |
| 日语 | 4,600 |
| 韩语 | 2,200 |
Tokenizer 训练数据：20 万小时（中文 11 万 + 英文 10 万）
关键实验结果
Section titled “关键实验结果”- LibriTTS test-clean：WER 2.47%（人类 2.66%），NMOS 3.96，SS 0.745
- SEED test-zh：CER 1.45%，test-en：WER 2.57%，test-hard：WER 6.83%
- 流式模式性能几乎无损（test-hard 上 CER 仅从 6.83%→8.08%）
- 日/韩 benchmark：日语 CER 18.79%，韩语 CER 7.98%（日语受汉字重叠影响）
- MOS-I（指令控制自然度）：4.06（前代 CosyVoice-Instruct 仅 3.09）
- FSQ 维度 D=4, K=2, 码本大小 (2K+1)^D = 5^4 = 然而 CosyVoice 2 实际为 (2K+1)^D-1 即 6561
- 首包延迟 150ms，25Hz token 率
- 基于 Qwen2.5-0.5B，CFG 强度 0.7，NFE=10
- 指令数据 1500 小时，100+ 种风格
- 资料摘要：CosyVoice — 前代版本
- 资料摘要：CosyVoice 3 — 百万小时规模化版
- FSQ（有限标量量化）
- 条件流匹配（CFM）
- CosyVoice 系列对比 — 三代演进全景对比
- Wiki 目录