CosyVoice 系列对比

对比分析更新 2026-05-03置信度 high#语音合成#对比#深度

梳理阿里通义语音团队 CosyVoice 三代演进：从零样本 TTS 基础架构到流式合成再到百万小时多语言野外场景。

概要

维度	CosyVoice 1	CosyVoice 2	CosyVoice 3
发布时间	2024.07	2024.12	2025.05
核心创新	监督语义 token	流式+FSQ+LLM骨干	规模化+DiffRO
Tokenizer	VQ-SenseVoice	FSQ-SenseVoice	FSQ-MinMo (多任务)
码本利用率	23%	100%	100%
LM 骨干	随机初始化	Qwen2.5-0.5B	1.5B 自训练
CFM 骨干	ResNet1D+Transformer	Causal Conv-Transformer UNet	DiT (300M)
流式	不支持	统一流式/非流式	统一流式/非流式
语言数	5 (中/英/粤/日/韩)	4 (中/英/日/韩)	9 + 18 方言
训练数据	~17 万小时	~17 万小时	100 万小时
指令数据	556 小时	1,500 小时	5,000 小时
后训练	无	DPO + 可微 ASR 奖励	DiffRO + MTR
WER (SEED zh)	3.63%	1.45%	0.71%
WER (SEED en)	4.29%	2.57%	1.45%
说话人相似度	0.775	0.806	0.836
开源	是	是	0.5B 开源/1.5B 闭源

CosyVoice 1: VQ-in-ASR  →  语义对齐好，码本浪费严重
CosyVoice 2: FSQ-in-ASR →  100% 利用率，语义信息更丰富
CosyVoice 3: FSQ-in-MinMo → 多任务监督，捕获副语言特征

关键洞察：tokenizer 的能力上限由基础 ASR/语音理解模型的水平决定。从 SenseVoice 到 MinMo（1.4M 小时预训练）的升级带来了质的飞跃。

CosyVoice 1 不支持流式 → CosyVoice 2/3 统一流式/非流式：

CosyVoice 1: 无后训练
CosyVoice 2: DPO (完整合成×4) + 可微 ASR 奖励 (token 级)
CosyVoice 3: DiffRO (token 级可微 + 多任务奖励 MTR)

DiffRO 的核心突破：不合成波形、不跑 CFM、不跑 Vocoder，直接在 token 级别用 Gumbel-Softmax 做可微优化。

数据量	test-zh CER	test-en WER	test-hard CER
3,000h (CosyVoice 3 tokenizer)	1.68%	6.60%	27.60%
170,000h (CosyVoice 3)	1.27%	2.46%	6.96%
1,000,000h (CosyVoice 3)	0.71%	1.45%	5.09%

从 17 万到 100 万小时，test-zh 仅从 1.27%→0.71%，提升已趋于饱和。

CosyVoice 3 是系列中唯一真正支持 9 语言的模型。CosyVoice 1/2 的日/韩语存在字符集重叠问题（汉字→中文发音），CosyVoice 3 通过将日语汉字转换为假名解决。