资料摘要：DiTAR
首个将扩散 Transformer 头附着在语言模型隐状态上做自回归语音生成的工作——LM 负责序列建模，每个位置用扩散去噪从隐状态恢复连续语音 patch。ICML 2025，字节跳动。 🔒 DiTAR - Diffusion Transformer Autoregressive Modeling for Speech Generation
- LM + 扩散头架构：因果语言模型处理序列依赖，扩散 Transformer（DiT）头从 LM 隐状态逐 patch 恢复连续语音表示
- 无离散 token：全程在连续潜空间操作，绕过离散 codec 的量化瓶颈
- 分治 patch 生成：LM 处理聚合的 patch 嵌入，DiT 头生成下一 patch 的连续表示细节
- 温度即噪声时间点：推理时通过控制逆扩散 ODE 中引入噪声的时间点来调节多样性与确定性平衡
- SOTA 零样本语音生成：在鲁棒性、说话人相似度和自然度上达到领先水平；规模化分析验证优秀可扩展性
语音生成面临困境：离散 token（RVQ）有量化损失，纯扩散模型缺乏自回归的流式/上下文能力。DiTAR 试图融合两者优势——用自回归 LM 捕捉序列结构，用扩散头生成高保真连续细节。
DiTAR 的核心设计：
文本条件 → 因果 LM（逐 patch 自回归） ↓ h_i（LM 隐状态） 扩散 Transformer 头（去噪） ↓ 连续语音 patch与 GIVT/MAR（视觉）的差异：
- GIVT 用 GMM 参数化连续分布（视觉，单步采样）
- MAR 用 扩散过程建模 per-token 分布（视觉，多步去噪）
- DiTAR 用 扩散 Transformer 从 LM 隐状态生成（语音，patch 级多步去噪）
与 CALM 的关系
Section titled “与 CALM 的关系”DiTAR 是 CALM 范式（连续自回归语言建模）在语音领域的先驱。CALM/AudioCALM 将其扩展为：
- 通用音频（语音 + 音效 + 音乐），DiTAR 仅语音
- AR-Flow 注意力（统一的块因果掩码），DiTAR 用分治策略
- 流匹配头（rectified flow），DiTAR 用扩散头
- A-MoME（非对称专家混合），DiTAR 无
DiTAR 是连续值自回归从视觉跨入音频的关键一步。它首次验证了“LM 隐状态 → 扩散头 → 连续语音”这一技术路线的可行性，为后续的 CALM/AudioCALM 通用音频统一提供了方法论基础。
- 作者：Dongya Jia, Zhuo Chen, Jiawei Chen, Chenpeng Du, Jian Wu, Jian Cong, Xiaobin Zhuang, Chumin Li, Zhen Wei, Yuping Wang, Yuxuan Wang（字节跳动）
- 发表：ICML 2025
- 初版：arXiv 2502.03930（2025.02）
- 最新：v4（2025.12）
- Wiki 目录
- CALM（连续自回归语言建模） — DiTAR 的通用化扩展（语音+音效+音乐，AR-Flow+A-MoME）
- 资料摘要：GIVT — 视觉领域的 GMM 连续头先驱，ECCV 2024
- 资料摘要：MAR — 视觉领域的扩散头方案，NeurIPS 2024
- DiT（Diffusion Transformer）
- 条件流匹配（CFM）
- Diffusion Autoregressive 架构
- 音频生成