资料摘要：Llama 3
Meta 推出的 Llama 3.1 模型系列（8B/70B/405B），405B 旗舰首次实现开源模型与 GPT-4 水平相当的性能。92 页技术报告详尽记录训练基础设施、数据管线、缩放法则和后训练方法。 🔒 Llama 3 - The Herd of Models
- 405B 对标 GPT-4：MMLU 87.3、HumanEval 89.0、GSM8K 96.8，全面接近 GPT-4o 水平
- 15.6T tokens 训练（Llama 2 的 8.7 倍），数据混合约 50% 通用知识 + 25% 数学推理 + 17% 代码 + 8% 多语言
- 训练基础设施史诗级透明：92 页报告记录网络拓扑、硬件故障统计（54 天内 466 次中断，78% 硬件相关）、昼夜吞吐量波动
- 后训练简化：迭代 SFT + DPO + Rejection Sampling，不用 PPO
| 参数 | 8B | 70B | 405B |
|---|---|---|---|
| Layers | 32 | 80 | 126 |
| Model dim | 4,096 | 8,192 | 16,384 |
| FFN dim | 14,336 | 28,672 | 53,248 |
| Attention heads | 32 | 64 | 128 |
| KV heads (GQA) | 8 | 8 | 8 |
| Peak LR | 3e-4 | 1.5e-4 | 8e-5 |
架构：密集 Transformer（非 MoE），GQA 8 组 KV、128K 词表（100K tiktoken + 28K 非英语）、RoPE θ=500,000、文档 mask 防止跨文档注意力
训练基础设施（史诗级透明）
Section titled “训练基础设施（史诗级透明）”- 硬件：最多 16K H100 GPU（700W TDP, 80GB HBM3），Meta Grand Teton 平台
- 存储：240 PB, 2 TB/s 吞吐
- 网络：RoCE（Arista 7800）+ InfiniBand，400 Gbps GPU 互联
- 并行：4D — Tensor + Context + Pipeline + Data (FSDP)
- BF16 MFU：38-43%
- 有效训练时间：>90%（54 天快照内 466 次中断，78% 硬件相关、平均 3 分钟解决）
- 阶段：(1) 初始预训练 8K 上下文 → (2) 长上下文预训练逐步扩至 128K → (3) Annealing：最后 40M tokens、LR 降至 0、高质量数据上采样、Polyak 平均
关键基准（Llama 3.1 405B Instruct）
Section titled “关键基准（Llama 3.1 405B Instruct）”| 基准 | 405B | GPT-4o | Claude 3.5 Sonnet |
|---|---|---|---|
| MMLU | 88.6 | 88.7 | 88.3 |
| HumanEval | 89.0 | 90.2 | 92.0 |
| GSM8K | 96.8 | 96.1 | 96.4 |
| MATH | 73.8 | 76.6 | 71.1 |
| GPQA | 51.1 | 53.6 | 59.4 |
- Annealing 对小模型更有效：8B GSM8K +24%, MATH +6.4%；405B 收益可忽略（已够强）
- 8B 和 70B 刻意“过训练”：使其推理效率远超 compute-optimal 水平
规模化预测方法
Section titled “规模化预测方法”两阶段方法论：先关联 FLOPs 与 NLL，再关联 NLL 与下游准确率，跨越 4 个数量级准确预测最终性能
多模态扩展（仅设计，未发布权重）
Section titled “多模态扩展（仅设计，未发布权重）”组合式方案：独立图像/语音编码器 + 适配器层（交叉注意力或 token 级转换），语言模型权重保持冻结
Llama 3 是首个在 405B 规模上达到与封闭前沿模型（GPT-4、Claude 3.5 Sonnet）相当水平的开放权重模型。报告的透明度设定了新标准——提供比任何前沿实验室以往都更详尽的训练细节。
- 资料摘要：LLaMA
- 资料摘要：Llama 2
- 资料摘要：GPT-4 Technical Report
- DPO（直接偏好优化）
- GPU 节点互联与分层带宽 — 节点内 GPU 互联与大规模训练网络的性能层次对照
- Wiki 目录