跳转到内容
LLM Wiki个人知识系统

输入关键词开始搜索

    资料摘要：TangoFlux

    资料摘要更新 2026-07-09置信度 high已读 · 2026-07-09原始来源 ↗#音频生成#深度学习#范式#深度

    Tango 系列的第三代，换掉扩散生成范式：改用 Rectified Flow（Flow Matching）+ MMDiT/DiT 主干，仅 515M 参数即可在 A40 上 3.7s 生成 30s/44.1kHz 音频。提出在线偏好优化 CRPO（CLAP-Ranked Preference Optimization），迭代生成偏好数据对齐 rectified flow，客观 + 主观均达 SOTA。SUTD × NVIDIA × Lambda。 🔒 TangoFlux - Super Fast and Faithful Text to Audio Generation with Flow Matching and CLAP-Ranked Preference Optimization

    核心要点

    Section titled “核心要点”
    • 范式切换：从 Tango/Tango 2 的 Latent Diffusion 换成 rectified flow（Flow Matching），用更少采样步得到高质量音频 —— 这是它“超快”的根本原因。
    • FLUX 式混合主干：借鉴图像生成 FLUX，采用 6 层 MMDiT + 18 层 DiT 混合架构（8 头 ×128 宽 = 1024 宽）。MMDiT 表现强，简化部分为单 DiT 块提升可扩展性与参数效率。
    • 小而快：仅 515M 可训练参数，A40 上 3.7s 生成 30s、44.1kHz 音频，比次快模型约 2× 快，参数更少。
    • CRPO 在线偏好对齐：针对“TTA 没有 LLM 那样的可验证奖励/标准答案”这一难题，提出 CLAP 排序的偏好优化 —— 迭代地生成新合成数据并现场构造偏好对，比静态偏好数据集（如 BATON、Audio-alpaca）效果更好。
    • 在线 > 离线是关键发现：每轮重新生成数据（online）能让 CLAP 分持续上升到第 4 轮、KL 持续下降；用固定数据集（offline）第 2 轮就早停退化。
    • 完全非专有数据：在纯开源训练数据设定下达到 SOTA。

    详细笔记

    Section titled “详细笔记”

    动机

    Section titled “动机”
    1. 可控性/幻觉问题：既有 TTA 遇复杂 prompt 常漏事件、或生成 prompt 里没提的“临近但意外”事件（幻觉）。
    2. 对齐缺口：LLM 靠 RLHF/DPO 对齐大幅进步，但 TTA 缺少可验证奖励或标准答案，难以构造偏好对。Tango 2 已开先河（diffusion-DPO），TangoFlux 进一步把对齐做成“在线自我迭代”。

    方法（pipeline：预训练 → 带对齐的微调）

    Section titled “方法（pipeline：预训练 → 带对齐的微调）”
    • 音频编码：复用 Stable Audio Open 的 VAE（44.1kHz 立体声 → 潜表示 Z∈RL×CZ \in \mathbb{R}^{L \times C}），训练中冻结。
    • 条件：
      • 文本条件 —— FLAN-T5（延续 Tango 系列的选择）；
      • 时长条件 —— 小网络把音频时长编码成 duration embedding cdurc_{dur}，与文本编码拼接，控制输出长度（≤30s）。
    • 主干：MMDiT ×6 + DiT ×18，学习从噪声到音频潜表示的 rectified flow 轨迹。
    • CRPO 对齐（迭代循环）：
      1. 用当前模型对一批 prompt 生成多个候选音频；
      2. 用 CLAP 分数排序，取高分为胜者、低分为败者构造偏好对；
      3. 用 rectified-flow 版偏好损失优化；
      4. 下一轮重新生成新数据，重复。

    关键结果（AudioCaps，A40 同卡对比）

    Section titled “关键结果（AudioCaps，A40 同卡对比）”
    模型 参数 时长 FD_openl3↓ KL_passt↓ CLAP↑ IS↑
    AudioLDM 2-large 712M 10s 107.9 1.83 0.415 7.3
    Stable Audio Open 1056M 47s 88.5 2.67 0.286 9.3
    Tango 2 866M 10s 108.3 1.14 0.452 8.4
    TangoFlux-base 515M 30s 79.7 1.23 0.438 10.7
    TangoFlux 515M 30s 75.2 1.20 0.488 11.1
    • 除 KL_passt 略逊 Tango 2 外，TangoFlux 在所有客观指标上超越全部基线。
    • 多事件 prompt 上 CLAP 领先幅度更大 —— 说明它更擅长把握含多个事件的复杂指令。

    对话洞见

    Section titled “对话洞见”
    • 与 Tango / Tango 2 的关系（用户问）：三者同出 SUTD declare-lab，是同一系列的三代演进：
      • Tango = Flan-T5 + LDM（奠基，主打数据效率）；
      • Tango 2 = 同架构 LDM + DPO 偏好对齐（Audio-alpaca 静态偏好集）；
      • TangoFlux = 换成 Rectified Flow + MMDiT/DiT 主干 + CRPO 在线偏好对齐（主打又快又准）。
      • 一条不变的主线：文本编码器始终是冻结的 FLAN-T5。变化的是生成器（LDM→Flow Matching）与对齐方式（无→离线 DPO→在线 CRPO）。
    • 批判性判断：真正的新意在 CRPO 的“在线迭代生成偏好数据”（论文用 online vs offline 消融证明其必要性），而非 rectified flow / MMDiT 本身（均借鉴自图像生成 FLUX / SD3）。价值点是把“图像域成熟范式 + 在线对齐”成功迁移到 TTA，并做到小参数量下的 SOTA 与实用推理速度。
    • 延伸线索：CRPO 依赖 CLAP 作为排序奖励，其上限受 CLAP 判别力约束；VAE 直接复用 Stable Audio Open，可视为站在开源生态肩上。可进一步 ingest 资料摘要：Stable Audio 3 对比其 Flow Matching 路线。

    模型结构与 MMDiT 深挖（2026-07-09 对话）

    Section titled “模型结构与 MMDiT 深挖（2026-07-09 对话）”
    • 整体数据流（讨论梳理）：三个“外挂”组件全部冻结/复用——音频编解码用 Stable Audio Open 的 VAE、文本编码用 FLAN-T5、排序奖励用冻结 CLAP（只在 CRPO 阶段当裁判）。真正训练的只有中间 515M 的 [MMDiT×6 + DiT×18] 主干 + 小时长编码器。噪声 X0X_0 + 文本条件 + 时长 cdurc_{dur} → 学 rectified flow 速度场 → 潜表示 → VAE 解码 44.1kHz 音频。
    • MMDiT 双流机制（用户要求详解）：讨论得出记忆要点——一个 MMDiT 块内只有“联合注意力”那一步是“合”的，投影 / adaLN / FFN 全是“分”的两套权重。文本 token 与音频 token 各自 adaLN 调制、各用各的 QKV 投影，再把 Q=[Qc;Qx]Q=[Q_c;Q_x]、KK、VV 拼成长序列做一次全局自注意力——注意力矩阵天然含文↔音双向跨模态两块，对齐即发生于此；之后按长度切回，各过各的 FFN。相比老式“文本单向当 K/V”的 cross-attention，双向且文本表示随层更新。
    • 为何“6 MMDiT 打底 + 18 单流 DiT 加深”（讨论结论）：前几层用最贵的双流交互把文本语义充分对齐进音频（保证 faithful、少漏事件/幻觉）；语义融入后丢掉文本流，用便宜的单流 DiT 加深——这是 FLUX 的设计哲学，也是 515M 小参数仍 SOTA 的结构性原因。wiki 同类对照：资料摘要：UniSonate 是 14 Joint + 6 Single（双流更多），配比相反。

    「除 MMDiT 外还有何新颖」澄清（2026-07-09 对话）

    Section titled “「除 MMDiT 外还有何新颖」澄清（2026-07-09 对话）”
    • 用户问：除 MMDiT 外 TangoFlux 还有哪些新颖之处？
    • 讨论结论（重要，纠正提问预设）：MMDiT 恰恰不是它的新颖点——MMDiT、Rectified Flow、VAE、FLAN-T5 全是从图像域（FLUX/SD3）/ 前作借来或复用的。TangoFlux 真正的原创性集中在：
      1. CRPO 在线迭代偏好对齐——唯一被消融专门证明的原创贡献（online>offline）；
      2. 把 DPO 偏好损失迁移适配到 rectified flow 速度场（Tango 2 是 diffusion-DPO，非 flow 版）；
      3. 时长可控变长生成（cdurc_{dur} 支持 ≤30s 任意时长，多数基线固定 10s）；
      4. “小、快、准、全开源”的组合效果（515M / A40 3.7s 出 30s / ~2× 快 / 纯非专有数据 / 多事件 prompt CLAP 领先更明显）。
    • 一句话：标题里 “Flow Matching and CLAP-Ranked Preference Optimization” 两词——前者是借来的引擎，后者（CRPO）才是招牌。

    引用与数据

    Section titled “引用与数据”

    相关

    Section titled “相关”