DiT（Diffusion Transformer）
用 Transformer 架构替代传统 U-Net 作为扩散模型骨干的生成式架构，在图像和音频生成中展现出更强的可扩展性和多模态条件处理能力。
DiT 将扩散模型中的去噪网络从卷积 U-Net 替换为纯 Transformer 模块。每个 Transformer 块通过自适应层归一化（adaLN）注入时间步和条件信息（如文本嵌入），使模型能灵活处理多种条件信号。
核心设计要点：
- Patched Input：将输入潜在表示切分为 patch 序列（类似 ViT）
- adaLN-Zero：自适应层归一化，初始化时残差增益为零，保证训练稳定
- 条件注入：交叉注意力或 adaLN 将文本/图像/视频条件注入每一层
- 可扩展性：Transformer 架构天然适合大规模扩展，DiT 随参数量增大性能持续提升
- 多模态统一：同一 DiT 骨干可处理文本、图像、视频、音频等多种输入条件（AudioX 的核心设计）
- 替换 U-Net 成为新标准：2024-2026 年，DiT 正逐步取代 U-Net 成为扩散/流匹配模型的主流骨干
| 领域 | 代表工作 | DiT 角色 |
|---|---|---|
| 音频生成 | AudioX | 统一多任务 DiT 骨干 + MAF 多模态融合 |
| 音频生成 | AudioX-Turbo | AudioX-Base MMDiT 教师 → 4-step 学生；DMD + diffusion-based discriminator 少步加速 |
| 音频生成 | Stable Audio 3 | 扩散 Transformer（AdaLN-Single + 差分注意力 + memory embeddings）+ 对抗后训练，8 步 Ping-Pong |
| 音频生成 | Dasheng AudioGen | Flow-Matching DiT（自注意力建时间 + 交叉注意力注入多视图字幕），统一混合音频场景 |
| 音频生成 | UniSonate | MM-DiT 双流架构（14 Joint + 6 Single DiT），文本/音频流分别自注意后联合交叉注意 |
| 音频生成 | Fugatto | T5-Transformer 变体，ComposableART 条件组合 |
| TTS | LongCat-AudioDiT | 波形潜空间 DiT，零样本语音克隆 |
| 音效生成 | MOSS-SoundEffect v2 | DiT + Flow Matching 重构 v1 离散 token 自回归，开源双语 TTA |
| 可控 TTA | ControlAudio | 渐进三阶段 DiT 训练 + 渐进引导采样，统一时间控制+可懂语音，ACL 2026 SOTA |
| 语音合成 | CosyVoice 3 | CFM 骨干升级为 DiT，替代 Conformer |
| 图像生成 | SD3, FLUX | MMDiT / DiT 骨干 + Flow Matching（见 MMDiT（多模态扩散 Transformer）） |
| 图像生成 | Sora | 视频 DiT（据信），DiT 原始作者 Peebles 参与 |
| 图像生成 | PixArt-α, PixArt-Σ | 高效 DiT 训练，4K 分辨率 |
完整论文图谱见 DiT 论文全景。
与相邻概念的区别
Section titled “与相邻概念的区别”| 概念 | 区别 |
|---|---|
| U-Net | 传统扩散模型骨干（卷积），DiT 用 Transformer 替代 |
| CFM | 条件流匹配是生成建模框架（替代扩散过程），DiT 是其骨干网络 |
| Transformer | 通用架构；DiT 专门用于扩散/流匹配生成任务 |
多模态双流变体见 MMDiT（多模态扩散 Transformer）。
- ❌ DiT 只能在图像生成中用 → AudioX、LongCat-AudioDiT 证明音频领域同样有效
- ❌ DiT = 就是 ViT + 扩散 → 关键在于 adaLN 条件注入和 patch 化策略
- 资料摘要：DiT
- MMDiT（多模态扩散 Transformer） — DiT 的多模态双流变体（SD3/FLUX 骨干）
- 资料摘要：SD3（MMDiT） — Stable Diffusion 3：MMDiT + Rectified Flow
- 资料摘要：AudioX
- 资料摘要：AudioX-Turbo — MMDiT + MAF 的少步蒸馏版本
- 资料摘要：UniSonate — MM-DiT 双流变体：文本/音频分别自注意后做联合交叉注意
- 资料摘要：Fugatto
- 资料摘要：LongCat-AudioDiT
- 资料摘要：MOSS-SoundEffect v2 — DiT + Flow Matching 重构离散 token AR，开源音效生成
- 资料摘要：Stable Audio 3 — 扩散 Transformer + SAME 自编码器 + 对抗后训练，开源 SOTA
- 资料摘要：Dasheng AudioGen — Flow-Matching DiT + 多视图字幕，统一混合音频场景生成
- 资料摘要：ControlAudio — 渐进三阶段 DiT 训练，首个统一时间控制+可懂语音的 TTA 框架，ACL 2026
- DiT 论文全景
- 条件流匹配（CFM）
- 对抗后训练（Adversarial Post-Training）
- 音频生成
- Wiki 目录