资料摘要：Qwen2
阿里通义千问团队推出的全面开源模型系列（0.5B-72B 密集模型 + 57B MoE），72B 在多项基准上超越 Llama-3-70B，72B-Instruct 在 MT-Bench 达 9.12、Arena-Hard 48.1。 🔒 Qwen2 Technical Report
- 全尺寸覆盖：5 个密集模型（0.5B/1.5B/7B/72B）+ 1 个 MoE（57B-A14B，激活 14B）
- 72B 超越 Llama-3-70B：MMLU 84.2 vs 79.5、HumanEval 64.6 vs 48.2、GSM8K 89.5 vs 83.0
- 数据优先方法论：预训练数据从 Qwen1.5 的 3T 扩展到 7T，大量投资在质量过滤和合成数据生成
- 在线 DPO + Online Merging Optimizer：两阶段 RLHF 对齐，缓解对齐税
| 配置 | 0.5B | 1.5B | 7B | 72B | 57B-A14B (MoE) |
|---|---|---|---|---|---|
| Hidden Size | 896 | 1,536 | 3,584 | 8,192 | 3,584 |
| Layers | 24 | 28 | 28 | 80 | 28 |
| Query Heads | 14 | 12 | 28 | 64 | 28 |
| KV Heads (GQA) | 2 | 2 | 4 | 8 | 4 |
| Vocab Size | 151,646 | 151,646 | 151,646 | 151,646 | 151,646 |
| Trained Tokens | 12T | 7T | 7T | 7T | 4.5T |
- 架构：标准 Transformer + GQA + RoPE + SwiGLU + RMS Norm + QKV bias
- 上下文：原生 32K tokens，通过 YaRN + Dual Chunk Attention 扩展至 131K
- RoPE 基础频率从 Qwen1.5 的 10,000 提升至 1,000,000
MoE Upcycling
Section titled “MoE Upcycling”从 Qwen2-7B 密集权重改造：复制 FFN、打散中间层维度、随机重初始化 50% 专家参数。64 个路由专家 + 8 个共享专家，每 token 激活 8 个路由专家。
- 数据质量 > 数据量：0.5B 模型训练 12T tokens 不如 7T 高质量数据，证明放宽质量门槛无法靠更多数据弥补
- 在线 DPO：预编译偏好对做离线 DPO 后，RM 在线提供实时反馈 → 采样多回复 → 形成偏好对 → 迭代 DPO
- Online Merging Optimizer：缓解对齐税（alignment tax）
- 约 30 语言：远超 Qwen1.5，中英文外还包括西/法/德/阿/俄/韩/日/泰/越等
Base 72B vs 竞品：
| 基准 | Qwen2-72B | Llama-3-70B | Mixtral 8x22B |
|---|---|---|---|
| MMLU | 84.2 | 79.5 | 77.8 |
| HumanEval | 64.6 | 48.2 | 46.3 |
| GSM8K | 89.5 | 83.0 | 83.7 |
| MATH | 51.1 | 42.5 | 41.7 |
Instruct 72B： MT-Bench 9.12、Arena-Hard 48.1、IFEval strict 77.6。HumanEval 86.0、GSM8K 93.2、MATH 69.0（大幅超越 Llama-3-70B-Instruct 的 50.4）
Qwen2 是当时最全面的开放权重模型发布，从 0.5B 边缘部署到 72B 数据中心全覆盖。72B 成为中国开源社区的主力模型之一。为 Qwen2.5 及后续系列奠基。