MMDiT（多模态扩散 Transformer）

概念更新 2026-07-08置信度 high#概念#进阶#架构#扩散模型#视觉生成

DiT 的多模态变体：文本流与图像流各持一套权重，仅在注意力处拼接做联合自注意力，实现两模态双向信息流动。出自 Stable Diffusion 3。

是什么

MMDiT（Multimodal Diffusion Transformer，也写作 MM-DiT）是 DiT（Diffusion Transformer）的多模态骨干变体，由 Stability AI 在 Stable Diffusion 3 中提出（见资料摘要：SD3（MMDiT））。

它把文本 token 与图像（latent patch）token 视为平等的两条流：

模态特异权重：每个 block 中，文本流与图像流各自拥有独立的 LayerNorm、AdaLN 调制参数、Q/K/V 投影和 MLP —— 因为两种模态的表示分布差异大，共享权重会互相拖累。
联合注意力：唯一“打通”两流的地方是注意力。把两流的 $Q,K,V$ 拼接后做一次联合自注意力，算完再按模态切回各自的流：

$\text{Attn}\big([Q_x;Q_c],\ [K_x;K_c],\ [V_x;V_c]\big)$

其中 $x$ 为图像流、 $c$ 为文本流。这样既保留模态特异表达，又实现文本↔图像的双向交互。

超越单向 cross-attention：原始 DiT / PixArt 用 cross-attention 把文本条件单向注入图像。MMDiT 的双向联合注意力在同等 CC12M 训练下优于 DiT、UViT、CrossDiT。
工业级文生图的主流骨干：SD3 之后被 FLUX 沿用，成为 2024 年后高分辨率 T2I 的事实标准骨干。
可规模化：随参数量（SD3 到 8B）与训练步数，验证损失平滑下降且强相关于生成质量，无饱和。
跨模态外溢：其“双流分权 + 联合注意力”思想被音频领域借用（资料摘要：UniSonate 的文本/音频双流、资料摘要：TangoFlux 的 MMDiT/DiT 骨干）。

MMDiT 通常与条件流匹配（CFM） / Rectified Flow 训练目标配套，而非传统 DDPM 噪声预测。单个 MM-DiT block 的数据流：

关键步骤：

条件编码：图像潜表示切 2×2 patch 成图像 token；文本经 CLIP-L、CLIP-G、T5-XXL 三个冻结编码器，pooled CLIP → 调制向量 $c_{vec}$ ，序列 token → 文本流。
双流调制：时间步 $t$ 与 $c_{vec}$ 通过各流独立的 AdaLN 生成 scale/shift，分别调制文本流与图像流。
联合注意力：两流 $Q,K,V$ 拼接 → 一次注意力 → 切回；可选 QK-RMSNorm 稳定高分辨率训练。
各走各的 MLP：注意力后两流分别过自己的 MLP，进入下一个 block。

阶段	工作	与 MMDiT 的关系
前身	资料摘要：DiT（2022，ICCV 2023）	用 Transformer + adaLN-Zero 替代 U-Net，单向条件注入
提出	SD3（2024，资料摘要：SD3（MMDiT））	双流分权 + 联合注意力，配 Rectified Flow
商业后继	FLUX（Black Forest Labs）	沿用 MM-DiT 骨干
规模化	μP for DiT（2025）	将 μP 扩展到 18B MMDiT
音频迁移	UniSonate、TangoFlux	借用双流联合注意力思想到文本/音频

完整 DiT 家族谱系见 DiT 论文全景。

❌ MMDiT 是一篇独立论文 → 它是 SD3 技术报告《Scaling Rectified Flow Transformers for High-Resolution Image Synthesis》中提出的架构模块，报告还并列贡献了 Rectified Flow 噪声采样改进。
❌ 只是把文本 token 拼进图像序列 → 关键在于两流各持独立权重，仅在注意力处融合；若共享权重就退化为普通 DiT。
❌ MMDiT = 双向 cross-attention → 它用的是联合自注意力（拼接后单次 attention），不是插入的独立交叉注意力层。

概念	区别
DiT（Diffusion Transformer）	DiT 是通用扩散 Transformer 骨干（单向条件注入）；MMDiT 是其多模态双流变体
cross-attention 条件注入	单向（文本→图像）；MMDiT 联合注意力是双向
条件流匹配（CFM） / Rectified Flow	生成建模框架/训练目标；MMDiT 是与之配套的骨干网络