跳转到内容
LLM Wiki个人知识系统

输入关键词开始搜索

    MoE（混合专家）

    概念更新 2026-07-19置信度 high#概念#基础#长青#MoE#架构

    一种神经网络架构模式，将模型参数划分为多个“专家”子网络，每个输入 token 仅激活其中少数几个专家，从而以较低的推理计算量获得巨大的总参数量。

    是什么

    Section titled “是什么”

    MoE 将 Transformer 的 FFN 层替换为多个并行的“专家”子网络 + 一个路由网络（router/gating network）。路由器对每个 token 选择激活 Top-K 个专家，各专家的输出加权求和。模型的总参数量（稀疏参数）远超每个 token 实际使用的参数量（激活参数）。

    关键参数：

    • 总参数（sparse params）：所有专家的参数之和
    • 激活参数（active params）：每个 token 实际计算的参数
    • 专家数 N、Top-K、共享专家数

    为什么重要

    Section titled “为什么重要”
    1. 推理效率：激活参数远小于总参数，推理速度接近同规模密集模型，但能力达到更大密集模型的水平
    2. 训练效率：稀疏激活减少每个 token 的计算量
    3. 规模化路径：增大专家数可以线性扩展总参数量，同时保持推理成本基本恒定
    4. 开源模型的游戏改变者：Mixtral 8x7B（13B active）超越 Llama 2 70B，开创了 MoE 在开源领域的广泛应用

    工作原理

    Section titled “工作原理”

    y=∑i[Softmax⁡ ⁣(TopK⁡(xWg))]iExpert⁡i(x)y=\sum_i \left[\operatorname{Softmax}!\left(\operatorname{TopK}(xW_g)\right)\right]_i\operatorname{Expert}_i(x)

    1. 路由：输入 token 经线性层 W_g 得到每个专家的 logit，取 Top-K 做 softmax
    2. 专家计算：被选中的 K 个专家分别处理该 token（通常是 SwiGLU FFN）
    3. 组合输出：专家输出按路由权重加权求和
    4. 负载均衡：辅助 loss 鼓励 token 均匀分配到各专家，避免“专家坍塌”

    历史与演进

    Section titled “历史与演进”
    时间 里程碑 关键点
    2017 Shazeer et al. 首次提出稀疏门控 MoE 层，137B 参数
    2021 GShard / Switch Transformer MoE 在大规模 Transformer 中的工程落地
    2024.01 Mixtral 8x7B 首个达到前沿水平的开源 MoE，每层 8 专家 Top-2
    2024.05 DeepSeek-V2 细粒度专家（160 路由 + 2 共享）+ MLA
    2024.07 Qwen2 MoE 密集→MoE Upcycling，64 路由 + 8 共享
    2026.06 A-MoME (AudioCALM) 非对称模态专家：全模态共享 Self-Attn + FFN，仅语音额外加残差 FFN——容量按需求分配而非按模态数量
    2025.10 UniMoE-Audio Dynamic-Capacity MoE + Top-P 路由：8 路由 + 2 共享 + 1 空专家，累计概率≥p 动态激活 1-6 个专家，空专家深层剪枝 TTS token

    专家到底专精什么？

    Section titled “专家到底专精什么？”

    Mixtral 论文的路由分析给出了反直觉的结论：专家并非按领域（数学/生物/代码等）专精，而是按语法结构路由。不同领域文档的专家分布几乎相同，仅合成数据集（DM Mathematics）在首末层有略微差异。连续 token 高度重复选择相同专家（高层65% vs 随机46%）。

    常见误解

    Section titled “常见误解”
    • “专家会自然按领域专精” — 实际发现路由更基于语法而非语义
    • “MoE 推理一定更快” — 稀疏激活减少计算量，但路由开销和更大的内存占用（需加载全部专家）是代价
    • “专家越多越好” — 过多专家导致负载均衡困难，需要 Device-limited routing 等技术

    与相邻概念的区别

    Section titled “与相邻概念的区别”
    • 密集模型（Dense）：所有参数对每个 token 都参与计算
    • MoE vs 模型集成（Ensemble）：MoE 的路由是端到端学习的稀疏激活，集成是独立模型输出组合
    • SMoE vs MoE：Sparse MoE 强调仅激活少数专家的稀疏特性

    变体：动态容量 MoE

    Section titled “变体：动态容量 MoE”

    传统 MoE 使用 Top-K 固定激活 K 个专家，每个 token 计算量完全相同。Dynamic-Capacity MoE（UniMoE-Audio, 2025.10）引入两类创新：

    Top-P 路由

    Section titled “Top-P 路由”
    • 替代 Top-K：按累计概率阈值 p 选择专家，而非固定 K 个
    • I = argmin|I'| s.t. ΣP_i ≥ p（p=0.7）
    • 动态激活 1-6 个专家：复杂 token（音乐谐波帧）激活多个，简单 token（静音帧）激活最少
    • 效果：计算资源的弹性分配，同等总参数下推理更高效

    空专家（Null Expert）

    Section titled “空专家（Null Expert）”
    • 无参数专家，输出零张量——允许 token 完全跳过计算
    • 深层（25-32 层）大量剪枝 TTS token：模型学到语音在表示层面已“足够好”
    • 固定 Top-K 无法实现此行为

    与 A-MoME 的区别

    Section titled “与 A-MoME 的区别”
    维度 Dynamic-Capacity MoE A-MoME (AudioCALM)
    路由方式 学习式 Top-P 动态路由 确定性按模态标签路由
    专家粒度 8 路由 + 2 共享 + 1 空 1 共享 FFN + 1 语音残差 FFN
    适用场景 任务粒度领域专精 模态粒度非对称容量
    核心创新 动态容量分配 按需非对称加容

    相关

    Section titled “相关”