资料摘要：Llama 2

Meta 推出的开源大模型系列（7B/13B/70B），首次对 RLHF 对齐方法论进行全面透明披露，对话模型在人类评估中与 ChatGPT 相近。 🔒 Llama 2 - Open Foundation and Fine-Tuned Chat Models

核心要点

• 完整开源：预训练 + 对话微调（RLHF）权重全部开放，附带商业可用许可
• RLHF 透明披露：详尽记录数据收集、奖励模型训练、多轮迭代 RLHF、安全性工作的全流程
• 2T tokens 训练，上下文从 2K 翻倍到 4K；34B/70B 采用 GQA（分组查询注意力）
• 70B 可媲美 ChatGPT：人类评估中 Llama 2-Chat 70B 与 GPT-3.5-turbo 互有胜负

详细笔记

模型规格

规模	GQA	tokens	LR
7B	否	2.0T	3.0e-4
13B	否	2.0T	3.0e-4
34B	是	2.0T	1.5e-4
70B	是	2.0T	1.5e-4

注：34B 已训练并出现在论文各表中，但 Meta 因红队测试未达发布标准未公开发布 34B 权重——故引言「开源系列」只列 7B/13B/70B。

架构基于 Llama 1：RMSNorm + SwiGLU + RoPE，新增 4K 上下文、GQA（34B/70B）。

RLHF 方法（详尽记录）

数据收集：

• SFT：27,540 条高质量人工标注数据
• RM 训练：1,418,091 条人工偏好对比数据（二元比较）
• 每条对话平均 3.9 轮，每条样本平均 798.5 token

分离式奖励模型：

• 分别训练 Helpfulness RM 和 Safety RM
• RM 从预训练对话模型初始化，分类头替换为标量回归头
• Helpfulness RM Meta 测试集准确率 63.2%，Safety RM 64.5%

迭代式 RLHF（V1→V5）：

1. Rejection Sampling：每条 prompt 采样 K 个输出，RM 选最优作为新金标准，70B 模型执行 RS、小模型蒸馏。最优温度 T=1.2-1.3
2. PPO：KL 奖励 = whiten(logit(R_c)) - β·D_KL；R_c 综合 safety/helpfulness RM；β=0.01(7B/13B)、0.005(34B/70B)；200-400 轮，70B 每轮约 330s

Ghost Attention (GAtt)：将系统指令在所有轮次中合成拼接至用户消息；训练时除最后轮次外 token 损失置零；实现 20+ 轮多轮一致性

安全性上下文蒸馏：在对抗性 prompt 前添加安全预提示生成安全回答，去除预提示后在该输出上微调；仅当 safety RM 评分提升时应用

关键基准

基准	Llama 2 70B	GPT-3.5	GPT-4
MMLU	68.9	70.0	86.4
GSM8K	56.8	57.1	92.0
HumanEval	29.9	48.1	67.0

训练细节

• 优化器 AdamW（β1=0.9, β2=0.95），cosine LR、2000 步 warmup、衰减至峰值 10%
• 权重衰减 0.1、梯度裁剪 1.0、全局 batch 4M tokens
• Meta RSC 集群 A100-80GB，总计 330 万 GPU 小时
• 碳排放 539 tCO2eq（100% 抵消）
• 验证 RoCE 在 2000 GPU 规模下几乎与 InfiniBand 同等扩展

影响

Llama 2 为整个开源社区提供了 RLHF 对齐的完整蓝图（数据→RM→迭代→安全），商业许可加速了生态采纳。GAtt、分离式 RM、迭代 RLHF 等方法被后续模型广泛借鉴。

相关

• 资料摘要：LLaMA
• 资料摘要：Llama 3
• RLHF（人类反馈强化学习）
• DPO（直接偏好优化）
• GPU 节点互联与分层带宽 — 节点内 NVLink/NVSwitch 与跨节点 RoCE 的性能层次对照
• Wiki 目录