跳转到内容
LLM Wiki个人知识系统

输入关键词开始搜索

    资料摘要：UniMoE-Audio

    资料摘要更新 2026-07-19置信度 high已读 · 2026-07-07原始来源 ↗#音频生成#统一模型#MoE#语音合成#音乐生成

    哈工大 + 微信 AI 提出 Dynamic-Capacity MoE 框架——通过 Top-P 动态路由、三类专家（路由/共享/空专家）和三阶段课程训练，首次在单一 7.1B 模型中统一语音合成与音乐生成，避免了联合训练的性能退化，在多项基准上达到 SOTA。 🔒 UniMoE-Audio - Unified Speech and Music Generation with Dynamic-Capacity MoE

    核心要点

    Section titled “核心要点”
    • Dynamic-Capacity MoE：用 Top-P 路由替代传统 Top-K，每个 token 动态激活不同数量的专家（p=0.7，激活数 1-6），按 token 复杂度弹性分配计算
    • 三类专家设计：8 个路由专家（领域专精）+ 2 个共享专家（跨域共性）+ 1 个空专家（跳过计算），空专家在深层对 TTS token 大量剪枝
    • 三阶段训练：独立专家训练 → MoE 集成预热 → 协同联合训练，逐阶段解决数据不平衡和任务冲突
    • 显著数据效率：仅用 ~30k 小时语音 + ~10k 小时音乐，在多项基准上超越训练数据量级大 2-3 个数量级的专用模型（Higgs 10M 小时、Step-audio 8M 小时）
    • 统一优于专用：UniMoE-Audio 的统一模型在语音 WER 和音乐质量上均超越同规模的 Unify-Baseline 密集模型，且无联合训练退化

    详细笔记

    Section titled “详细笔记”

    1. 问题动机

    Section titled “1. 问题动机”

    语音和音乐生成长期各自独立发展，统一建模面临两大核心障碍：

    • 任务冲突（Task Conflict）：语音需要精确的局部时间对齐（音素→声学帧），音乐侧重全局语义与结构连贯性，两者优化方向不同
    • 数据失衡（Data Imbalance）：语音数据量远超音乐（~30k vs ~10k 小时），直接联合训练会导致音乐生成被语音优化“淹没”

    此前 Unify-Baseline（7.1B 密集模型）直接联合训练的结果：中文 TTS “尚可”，但音乐生成“严重受损”（severely compromised）。

    2. 模型架构

    Section titled “2. 模型架构”

    Backbone：基于 Qwen2.5VL，~32 层 Transformer

    音频 Tokenizer：DAC（descript-audio-codec），多通道 codebook 每帧编码

    视觉编码：ViT 编码器 + 投影器（用于 V2M 视频到音乐任务）

    参数规模：

    配置 激活参数 总参数
    独立专家（×4） 3.1B 3.1B
    Unify-Baseline 7.1B 7.1B
    UniMoE-Audio 4.8B（avg） 7.1B

    激活参数动态范围：最小 2.8B，最大 5.9B

    UniMoE-Audio Dynamic-Capacity MoE 架构
    UniMoE-Audio Dynamic-Capacity MoE 架构

    3. Dynamic-Capacity MoE（核心创新）

    Section titled “3. Dynamic-Capacity MoE（核心创新）”

    Top-P 路由

    Section titled “Top-P 路由”

    传统 Top-K 固定激活 K 个专家，UniMoE-Audio 改用 Top-P 动态分配：

    P=Softmax⁡(XWg)门控概率分布I=arg min⁡I′  ∣I′∣s.t.∑i∈I′Pi≥p累计概率不少于 p 的最小子集O=∑i∈IPi∑j∈IPjEi(X)归一化加权输出\begin{aligned} P &= \operatorname{Softmax}(XW_g) && \text{门控概率分布} \[2pt] \mathcal{I} &= \underset{\mathcal{I}'}{\operatorname{arg,min}};|\mathcal{I}'|\quad \text{s.t.}\quad \sum_{i\in\mathcal{I}'}P_i\ge p && \text{累计概率不少于 }p\text{ 的最小子集} \[2pt] O &= \sum_{i\in\mathcal{I}}\frac{P_i}{\sum_{j\in\mathcal{I}}P_j}E_i(X) && \text{归一化加权输出} \end{aligned}

    • p = 0.7：每个 token 激活 1-6 个专家（vs Top-2 固定 2 个）
    • 高信息量 token（如音乐谐波密集帧）激活更多专家，简单 token（如静音帧）激活更少

    三类专家

    Section titled “三类专家”
    类型 数量 作用 特点
    路由专家 8 领域专精（E1-4 语音，E5-8 音乐） 由 4 个 proto-expert FFN 各切一半初始化
    共享专家 2 跨域共性特征（声学基元、频率表示） 所有 token 始终激活
    空专家 1 跳过计算，输出零张量 无参数；深层大量剪枝 TTS token

    专家并行：4 路专家并行，每 GPU 仅加载 2 个路由专家

    专家专精模式

    Section titled “专家专精模式”
    • 浅层（0-3）：1-3 个专家激活，提取低级声学特征
    • 中层（4-13）：4-5 个专家激活，第 12 层达到峰值——复杂抽象层
    • 深层（14-29）：激活预算递减，输出整合阶段
    • 空专家行为：在 25-32 层大量选中 TTS token——模型判断语音在深层已无需额外计算

    4. 三阶段训练课程

    Section titled “4. 三阶段训练课程”
    阶段 内容 数据 硬件 关键配置
    Stage 1 独立专家训练 4 个独立 3.1B 密集模型各自训练 全量非平衡原始数据 48×Ascend 910B lr=1e-4, batch=48, AdamW+cosine
    Stage 2 MoE 集成预热 专家 FFN 切半→8 专家，共享组件取均值初始化；冻结专家，仅训门控+共享专家 仅平衡数据（60k 样本） 196×Ascend 910B lr=3e-5, batch=784
    Stage 3 协同联合训练 全模型端到端训练 + 负载均衡 loss（线性退火） 扩大的平衡数据集 196×Ascend 910B lr=1e-5, batch=3136

    负载均衡策略：辅助 loss 权重从高到低线性退火——早期强制均匀分配建立基础，后期让模型自主优化路由。

    5. 训练数据

    Section titled “5. 训练数据”
    任务 数据集 样本量 时长
    中文 TTS ZhTTS 180K 20K 小时
    英文 TTS EnTTS 100K 10K 小时
    文本→音乐 Free-music-archive, MusicNet, MU2Gen ~128K ~9.4K 小时
    视频→音乐 V2M 20K 600 小时

    数据经自动标注、多指标过滤、去重管道处理。

    6. 实验结果

    Section titled “6. 实验结果”

    语音合成

    Section titled “语音合成”

    SeedTTS-EN：

    方法 WER↓ UTMOS↑ SIM↑
    Higgs audio V2 1.0 4.00 0.67
    Step-audio 2 mini 1.6 4.22 0.47
    UniMoE-Audio 1.9 4.36 0.56

    SeedTTS-ZH：

    方法 CER↓ UTMOS↑ SIM↑
    Higgs audio V2 0.8 3.27 0.73
    UniMoE-Audio 0.8 3.73 0.65

    LibriSpeech：WER 4.4（Unify-Baseline 为 10.8）
    AISHELL-3：CER 1.6（所有方法最优）

    音乐生成

    Section titled “音乐生成”

    MusicCaps（T2M）：

    方法 PC↑ PQ↑ CE↑ FAD↓
    AudioX 5.00 6.67 6.14 1.64
    MUMU-LLAMA 5.15 7.71 6.87 8.57
    UniMoE-Audio 6.00 7.77 7.34 6.43
    • 主观质量指标（PC/PQ/CE）全面领先，说明人听感最佳
    • FAD 不及 AudioX（DiT 扩散路线在分布匹配上仍有优势）
    • CLAP 0.29（仅次于 Stable Audio Open 的 0.30），CLaMP3 0.12（并列最优）

    V2M-bench（T2M + V2M）：UniMoE-Audio 在两个子任务上均最优或接近最优

    关键对比

    Section titled “关键对比”
    • UniMoE-Audio 仅用 ~30k 小时语音数据，Higgs V2 用 10M 小时——数据效率高 300×
    • 统一模型超越同规模密集模型（Unify-Baseline），验证了 MoE 架构对任务冲突的缓解能力
    • V2M 仅占训练数据 5%，但仍表现稳健

    7. 与其他统一音频模型对比

    Section titled “7. 与其他统一音频模型对比”
    维度 UniMoE-Audio UniSonate AudioCALM AudioX
    模态 语音+音乐 语音+音乐+音效 语音+音效+音乐 通用 anything-to-audio
    架构 Dynamic-Capacity MoE MM-DiT (Flow Matching) CALM (AR+Flow) DiT (Flow Matching)
    参数量 7.1B (4.8B active) 1.34B 1.7B (Qwen3) ~1B
    统一策略 Top-P 路由 + 三类专家 课程学习 + Dynamic Token Injection A-MoME + 描述式条件 条件编码统一
    核心创新 动态容量分配 正向迁移 连续 AR 语言建模 通用条件框架
    训练数据 ~40k 小时 ~70k 小时 + 1.5M SFX LibriTTS+EMILIA+FMA 等 大规模多源
    语音 CER/WER 最优档（ZH CER 0.8） 优秀（EN WER 1.47） SOTA（LibriTTS WER 0.020） N/A
    音乐 FAD 6.43 (MusicCaps) N/A 2.02 (Song-Describer) 1.64 (MusicCaps)

    引用与数据

    Section titled “引用与数据”
    • 机构：哈尔滨工业大学 + 微信 AI（WeChat AI）
    • 发表：arXiv 2510.13344，2025 年 10 月
    • 许可：CC BY 4.0
    • 项目页：https://mukioxun.github.io/Uni-MoE-site/home.html
    • 训练硬件：华为 Ascend 910B（48-196 卡）
    • 基线对比：UniAudio, Mini-CPM-O-2.6, Qwen2.5-Omni, Step-audio, Higgs audio V2, MiMo, YuE, Stable Audio Open, AudioX, MusicGen, MUMU-LLAMA

    关键洞察

    Section titled “关键洞察”
    1. 动态容量 > 固定容量：Top-P 路由让简单 token 省计算、复杂 token 加预算——在高保真音乐帧上激活 5-6 个专家，静音帧仅 1 个
    2. 空专家是 MoE 的“反直觉升级”：深层大量剪枝 TTS token 说明模型学到了一类任务在表示层面已“足够好”，无需继续计算——这是固定 Top-K 无法实现的
    3. 课程训练是统一模型的关键：先独立训练专家再联合微调，避免了一开始就将冲突模态塞入同一优化的“优化坑”
    4. MoE 是缓解模态冲突的通用解：与 AudioCALM 的 A-MoME（确定性模态路由）不同，UniMoE-Audio 用学习式动态路由达到了类似效果——两者互补验证了 MoE 在统一音频生成中的核心地位
    5. 数据效率惊人：用相比竞品小 300× 的数据量取得可比甚至更优的结果，暗示 MoE 架构本身具有数据利用率的优势

    相关

    Section titled “相关”