资料摘要：MOSS-TTS
复旦 OpenMOSS（SII-OpenMOSS）的语音生成基础模型，主张回归语音合成的核心配方：离散音频 token + 自回归建模 + 大规模预训练。构建在 MOSS-Audio-Tokenizer（CAT，24kHz→12.5fps 变比特率 RVQ）之上，发布两个互补生成器：MOSS-TTS（Delay-Pattern 单骨干，结构简单、可扩展、长上下文/控制导向）与 MOSS-TTS-Local-Transformer（额外帧内局部自回归模块，建模更高效、说话人保持更强、首音更快）。支持零样本音色克隆、token 级时长控制、音素/拼音级发音控制、平滑中英混读、稳定到小时级的长篇生成。arXiv 2603.18090（2026-03-20）。 🔒 MOSS-TTS Technical Report
- 配方主张：把语音生成做成「token 预测」单一通用目标（类比语言建模）——离散 token + AR + 大规模预训练，提供干净可扩展的路径，避免多中间目标/外部语义教师/精修阶段/后对齐带来的「每加一个模块就多一份监督契约、失败模式和延迟预算」。
- 三大组件：① MOSS-Audio-Tokenizer 高质量 tokenizer（端到端、流式、语义-声学统一）；② 百万小时高质量预训练数据管线（跨一致性门控：说话人/语言/转写有效性）；③ 面向长篇高效稳定的离散 AR 建模策略。
- 两种 RVQ token 建模模式（同 tokenizer、同预训练，隔离「token 建模模式」变量）：
- Delay Pattern（MOSS-TTS）：单 Transformer 骨干 + 多预测头 + RVQ 延迟调度，结构最简、最易扩到大模型/长上下文/优化推理后端；作为时长控制、超长生成、发音控制的主架构。
- Global-Latent + Local Transformer（MOSS-TTS-Local-Transformer）：帧内额外加一个长度 N_q+1 的局部自回归循环，更复杂但建模更高效、说话人保持更强、首音更快；在更小规模（1.7B）即取得最强克隆相似度。
- 33 通道对齐预测：tokenizer 出 32 层 RVQ，两架构每对齐步预测 N_q+1=33 通道（1 文本/pad 通道 + 32 音频通道），头加权交叉熵上调最粗的几层 RVQ 权重。
- 能力集：零样本音色克隆、token 级时长控制、音素/拼音级发音控制、中英平滑 code-switching、稳定长篇（小时级）生成；并复用 Progressive Sequence Dropout 支持变比特率。
- 结果：Seed-TTS-eval 上 MOSS-TTS-Local-Transformer（仅 1.7B）Continuation 模式取得开源模型中最高中英说话人相似度（ZH SIM 79.62 / EN SIM 73.28）；Continuation 一致优于 Clone（原生续接更能锚定音色）。
TTS 正从任务专用管线走向「基础模型」范式：跨说话人/语言/风格/声学条件泛化、可控低延迟、长篇稳定，且复刻 LLM 的 scaling 轨迹。MOSS-TTS 主张回归核心——好 tokenizer + AR + 大规模预训练，足够强的 tokenizer 把语音生成变成「token 预测」单一目标，从而易于扩展数据/算力/下游能力，而无需不断膨胀模型栈。与 Qwen3-TTS、CosyVoice 3、Seed-TTS、Fish-Speech、FireRedTTS-2 等同属「离散表示 + AR 骨干」潮流，差异在于完全离散 tokenization 管线 + 同 tokenizer 下显式对比两种 AR 模式。
两种架构权衡
Section titled “两种架构权衡”| 维度 | Delay Pattern（MOSS-TTS） | Local Transformer |
|---|---|---|
| 结构 | 单骨干 + 多头 + RVQ 延迟 | 骨干 + 帧内局部 AR 循环（N_q+1） |
| 优势 | 简单、可扩展、长上下文、易优化推理 | 建模高效、说话人保持强、首音快 |
| 稳态解码 | 更轻 | 更重（帧内多一层循环） |
| 适用 | 时长/发音控制、超长生成主架构 | 标准克隆基准的质量标杆（小规模即强） |
| 报告角色 | 控制类评测主力 | Table 3 克隆质量代表 |
预训练数据管线
Section titled “预训练数据管线”把开放域录音（播客/有声书/广播新闻/影视剧/解说/网络内容）转为可训练的单说话人资产，经三阶段：① 预处理（降噪、格式对齐、音量归一、说话人分离 diarization 合并）；② 过滤（MOSS-Transcribe-Diarize ASR 转写 + 规则预过滤 + LLM 精修 + 单说话人校验 + 声学质量 DNSMOS>2.8 & Meta AudioBox PQ>6.5 + 音文语言一致性 Whisper↔LLM 双标签一致）；③ 数据合成（音色克隆配对：用 WavLM 相似度从 30s 裁剪片段选最佳 prompt；输入鲁棒性噪声增强；音素/拼音脚本；短词条）。语料达百万小时级，多语种 + code-switching。
训练：四阶段 WSD 课程
Section titled “训练：四阶段 WSD 课程”| 阶段 | 上下文 | LR | 数据/目标 |
|---|---|---|---|
| P1 基础对齐 | 32k | warmup→2e-4 | 仅 D_basic，学单调对齐与多语 grapheme→acoustic |
| P2 | 32k | 2e-4 稳定 | 启用全部子集，强上采 D_clone |
| P3 | 32k | 2e-4→2e-6 线性衰减 | 恢复正常配比，打磨 |
| P4 长上下文 | 64k | 2e-6 | 重上采长篇数据，扩窗到 64k，学段落/小时级连贯 |
设计原则：先高密度清晰监督（最大化早期效率）→ 在高 LR 稳定区引入难任务（克隆、发音控制）使其成为「原生行为」而非后期补丁 → 长上下文延后（短上下文收敛后再小 LR 扩展，避免不稳定）。
- 零样本克隆（Seed-TTS-eval, Table 3）：MOSS-TTS-Local-Transformer（1.7B）Continuation 取得开源最高 ZH SIM 79.62 / EN SIM 73.28；Clone 模式 EN SIM 71.74 / ZH SIM 77.24。MOSS-TTS（8B）Continuation EN WER 1.84 / ZH SIM 76.98。Continuation 普遍优于 Clone。
- 多语种克隆（CV3-Eval, Table 4）：覆盖 zh/en/ja/ko/de/es/fr/it/ru，de/es/it/ru 表现强，ja/ko 较难。
- 时长控制（Table 5）：token 级，3s–30m 各档相对时长误差低（中文 overall AbsErr 0.712%）。
- 另含超长生成与音素/拼音发音控制评测（以 Delay-Pattern MOSS-TTS 为主）。
- 标题：MOSS-TTS Technical Report
- 机构：复旦大学 SII-OpenMOSS Team
- 时间：2026-03-20 · arXiv: 2603.18090 v2 [cs.SD]
- 主页：mosi.cn/models/moss-tts · 代码：OpenMOSS/MOSS-TTS · 在线 Demo · 模型集
- 规格：两架构（Delay-Pattern 8B / Local-Transformer 1.7B）；tokenizer 24kHz→12.5fps，32 层 RVQ；百万小时预训练；四阶段 WSD（上下文 32k→64k）
- 评测：Seed-TTS-eval、CV3-Eval 多语种、时长/发音控制
- Wiki 目录
- 资料摘要：MOSS-Audio-Tokenizer — 底层离散 tokenizer（同家族）
- 资料摘要：MOSS-SoundEffect v2 — MOSS-TTS 家族的音效成员
- LALM（大型音频语言模型） — 离散 token + AR 的语音基础模型范式
- 资料摘要：CosyVoice 3 · 资料摘要：VoxCPM — 被列为同台对比的 LLM-based TTS
- 资料摘要：MCLP（角色扮演 TTS） — 同走离散 token LALM 路线（Step-Audio 基座）
- DiffRO（可微奖励优化） · 条件流匹配（CFM） — 对比的其他 TTS 后训练/生成范式