资料摘要：DeepSeek-V2

DeepSeek 推出的 236B MoE 模型（激活 21B），引入 Multi-head Latent Attention (MLA) 和 DeepSeekMoE 两大架构创新，KV 缓存减少 93.3%，训练成本降低 42.5%，引发中国大模型价格战。 🔒 DeepSeek-V2

核心要点

• 236B 总参数，仅激活 21B/ token：MoE 架构，2 个共享专家 + 160 个路由专家，每 token 激活 6 个
• Multi-head Latent Attention (MLA)：对 KV 做低秩联合压缩（d_c=512），KV 缓存减少 93.3%，且性能优于标准 MHA
• 训练成本降低 42.5%（vs DeepSeek 67B），最大生成吞吐提升 5.76x
• GRPO 算法：无需 Critic 模型的 RL 对齐方法

详细笔记

Multi-head Latent Attention (MLA)

核心思想：将 K、V 联合压缩到低秩潜向量，大幅减少 KV 缓存。

• KV 联合压缩到 d_c=512 维潜向量（原本 2×128×128=32,768 元素）
• 推理时上投影矩阵 W_UK、W_UV 可吸收进 W_Q 和 W_O，无需显式计算 K/V
• 解耦 RoPE：压缩部分不加 RoPE，分离出 d_R_h=64 维的 RoPE 分量
• 性能优于 MHA，同时 KV 缓存小于 GQA group=2.25 的水平
• 对 Query 也做了低秩压缩（d’_c=1536），节省训练激活内存

DeepSeekMoE

• 细粒度专家分割：2 共享 + 160 路由专家，每 token 激活 6 个路由专家
• 专家中间层 dim=1536
• Device-limited routing：确保每个 token 的目标专家最多跨 M=3 个设备
• 三重辅助 loss：Expert-Level Balance (0.003) + Device-Level Balance (0.05) + Communication Balance (0.02)

模型架构

参数	值
Transformer layers	60
Hidden dim	5120
Attention heads	128，每头 128
上下文长度	128K (YaRN 扩展)
总参数	236B
激活参数	21B/token

GRPO (Group Relative Policy Optimization)

弃用 Critic 模型（通常与策略同等大小），用组内相对分数估计基线：

• 从旧策略采样一组输出，组内相对分数作为 Advantage 信号
• 消除对独立价值函数的需求，降低 RLHF 训练成本

概念详解见 GRPO（组相对策略优化）。

训练细节

• 预训练数据：8.1T tokens，中英文多源高质量语料
• Max seq len：4K（预训练）→ 128K（YaRN 扩展，s=40, α=1, β=32）
• 优化器：AdamW（β1=0.9, β2=0.95, wd=0.1），梯度裁剪 1.0
• LR：warmup-and-step-decay；max 2.4e-4，在 60% 和 90% tokens 处乘 0.316
• Batch size：2304 逐步增至 9216
• 并行：16 路 zero-bubble pipeline + 8 路 expert parallelism + ZeRO-1 DP（无 TP）
• 硬件：NVIDIA H800 GPU，NVLink/NVSwitch 节点内 + InfiniBand 跨节点
• SFT：1.5M 实例，2 epochs，LR=5e-6

关键基准（Base 236B vs 竞争对手）

基准	DK-V2	LLaMA3-70B	Mixtral 8x22B
MMLU	78.5	78.9	77.6
GSM8K	79.2	83.0	80.3
MATH	43.6	42.2	42.5
HumanEval	48.8	48.2	53.1
BBH	78.9	81.0	78.9

Chat 模型：MT-Bench 8.97（当时开源最高）、AlpacaEval 2.0 LC 38.9、GSM8K 92.2

影响

MLA 成为 Transformer 注意力机制的重要创新（后续用于 DeepSeek-V3 和 DeepSeek-R1）。该模型以极致性价比引发中国 AI 市场“价格战”，促使字节、阿里、百度等大幅降价。DeepSeek 由此确立了开源 MoE 模型的领先地位。

相关

• 资料摘要：Mixtral
• 资料摘要：Llama 3
• Wiki 目录