资料摘要：LLaMA

Meta AI 推出的开源基础语言模型系列（7B-65B），证明仅用公开数据就能训练出超越 GPT-3 175B 的模型，彻底改变了开源 LLM 生态。 🔒 LLaMA - Open and Efficient Foundation Language Models

核心要点

• 核心主张：仅使用公开可用数据训练，LLaMA-13B 即超越 GPT-3 175B，LLaMA-65B 与 Chinchilla-70B 和 PaLM-540B 竞争
• 架构改进：Pre-normalization (RMSNorm) + SwiGLU 激活 + RoPE 旋转位置编码
• 数据规模：1.4T tokens，7 个公开数据源（CommonCrawl 67%、C4 15%、GitHub/Wikipedia/Books 各 4.5% 等）
• 模型矩阵：7B / 13B / 33B / 65B，均在 2048 A100-80GB 上训练，batch size 统一 4M tokens

详细笔记

架构创新

改进	来源	说明
Pre-normalization (RMSNorm)	GPT-3	对每个 sub-layer 的输入而非输出做归一化，提升训练稳定性
SwiGLU 激活	PaLM	替换 ReLU，维度用 2/3×4d 而非 PaLM 的 4d
RoPE 位置编码	GPT-Neo	每层加入旋转位置嵌入，移除绝对位置编码

模型规格

规模	dim	heads	layers	LR	tokens
6.7B	4096	32	32	3.0e-4	1.0T
13.0B	5120	40	40	3.0e-4	1.0T
32.5B	6656	52	60	1.5e-4	1.4T
65.2B	8192	64	80	1.5e-4	1.4T

关键点： 7B 模型在 1T tokens 后 loss 仍在下降，与 Chinchilla 定律“10B 模型训 200B tokens 即饱和”的结论相悖。

训练数据

数据集	占比	轮数	大小
CommonCrawl (2017-2020, CCNet 清洗)	67%	1.10	3.3 TB
C4	15%	1.06	783 GB
GitHub (Apache/BSD/MIT 许可)	4.5%	0.64	328 GB
Wikipedia (20 语言)	4.5%	2.45	83 GB
Books (Gutenberg + Books3)	4.5%	2.23	85 GB
ArXiv	2.5%	1.06	92 GB
StackExchange (28 站点)	2.0%	1.03	78 GB

优化器： AdamW，β1=0.9、β2=0.95，权重衰减 0.1，梯度裁剪 1.0，cosine 衰减至峰值 LR 的 10%，2000 步 warmup。

关键结果

• LLaMA-13B 在大多数 benchmark 上超越 GPT-3 175B（仅 1/10 参数）
• 常识推理：LLaMA-65B 在 BoolQ 85.3、HellaSwag 84.2、WinoGrande 77.0，全面超越 Chinchilla-70B
• 闭卷 QA：NaturalQuestions 0-shot 23.8 → 64-shot 39.9、TriviaQA 68.2 → 73.0，均为 SOTA
• 代码：HumanEval pass@1 23.7、pass@100 79.3，超越 PaLM 62B
• 数学：GSM8k（无数学微调）50.9 / maj1@k 69.7，超越 Minerva 62B
• MMLU 5-shot：63.4；指令微调后 68.9

训练效率

• 65B：2048 A100-80GB，21 天训练 1.4T tokens，~380 tokens/s/GPU
• 使用 xformers 高效注意力实现 + 手动 backward 函数（checkpointing）+ 模型/序列并行
• 碳排放总计 ~1,015 tCO2eq，被 Meta 可持续发展项目 100% 抵消

影响

这篇论文直接催生了开源 LLM 生态（Alpaca、Vicuna、Mistral 等），确立了“开放权重”范式。RMSNorm + SwiGLU + RoPE 成为后续开源模型的事实标准架构。

相关

• 资料摘要：Llama 2
• 资料摘要：Llama 3
• Wiki 目录