RLHF（人类反馈强化学习）
一种将人类偏好作为训练信号，通过强化学习使语言模型输出更符合人类意图的对齐方法。
RLHF 是将强化学习（RL）与人类反馈（HF）结合的训练范式。核心理念：不是让模型模仿数据中的模式（可能有偏），而是直接优化人类偏好。
RLHF 是 ChatGPT 成功的核心技术之一。它解决了核心问题：如何让模型做人类想要的事，而不仅仅是预测下一个 token。没有 RLHF，大模型会生成流畅但不一定有用、真实、无害的内容。
三步流程（来自 InstructGPT 论文的标准实现）：
1. SFT（监督微调）
Section titled “1. SFT（监督微调）”- 收集高质量 prompt-回答对，微调基座模型
- 训练超参：16 epochs，余弦学习率衰减，residual dropout 0.2
- 验证 loss 第 1 个 epoch 后已过拟合，但继续训练仍有收益
2. RM（奖励模型）
Section titled “2. RM（奖励模型）”- 对同一 prompt 生成 K=4~9 个回答，标注员排序
- 从 SFT 模型移除 unembedding 层，改为输出标量奖励
- 使用交叉熵损失：奖励差值 = 一个回答被偏好的对数几率
- InstructGPT 只用 6B RM（175B RM 训练不稳定）
3. PPO 优化
Section titled “3. PPO 优化”- 用 RM 作为奖励函数，PPO 算法优化语言模型
- KL 散度惩罚项：防止策略偏离 SFT 基线太远
- PPO-ptx 变体：混入预训练数据减少公开基准性能退化
核心洞察：人类不做“写正确答案”（难），而是做“比较判断”（A 好还是 B 好）——更简单、更可扩展。
- 2017 — Christiano et al. 首次将 RLHF 用于简单机器人/Atari 游戏
- 2020 — Stiennon et al. 将 RLHF 用于文本摘要
- 2022.3 — OpenAI 发布 InstructGPT 论文（arXiv:2203.02155），扩展到通用指令遵循
- 2022.11 — ChatGPT 发布，RLHF 是其核心技术
- 2023 — DPO（Direct Preference Optimization）简化 RLHF，去掉显式 RM
- 后续 — RLAIF（用 AI 反馈替代人类）、Constitutional AI 等方法
- ❌ RLHF 让模型“学会道德” → 实际是让模型符合标注员的偏好（约 40 人、英语母语为主）
- ❌ RLHF = ChatGPT → RLHF 是方法，ChatGPT 是其应用之一
- ❌ RLHF 越多越好 → 过度对齐会降低多样性和创造力
- ❌ RM 越大越好 → InstructGPT 发现 175B RM 反而不稳定，6B 更实用
与相邻概念的区别
Section titled “与相邻概念的区别”| 概念 | 区别 |
|---|---|
| SFT | 直接模仿正确答案，不需要奖励模型和强化学习 |
| PPO | 强化学习算法本身，RLHF 使用 PPO 作为优化器 |
| DPO | 绕过显式奖励模型，直接在偏好数据上用分类目标训练 |
| RLAIF | 用 AI（如 GPT-4）而非人类提供反馈，降低成本 |
| Constitutional AI | 用规则约束 + AI 反馈，减少人类标注依赖 |