对齐税
在对语言模型进行安全/有用性对齐训练时，模型在部分下游任务上的能力出现退化的现象。降低对齐税是对齐研究的核心工程目标之一。
对齐税是指 RLHF 或其他对齐训练导致的模型能力退化，尤其体现在：
- 知识密集型任务（如 SQuAD、DROP）
- 推理/数学任务
- 代码生成能力
- 少数群体的语言性能
本质上是“让模型更安全有用”和“保持模型原始能力”之间的权衡。
InstructGPT（2022）首次系统记录了此现象：
- PPO 训练后，SQuADv2、DROP、HellaSwag、翻译等任务出现显著退化
- PPO-ptx（混入预训练数据）可缓解但无法完全消除
- 单纯增大 KL 系数（β 从 0.02 到 2.0）无法恢复退化
Llama 2（2023）观察到类似现象：
- RLHF 后代码生成能力有所退化
Qwen2（2024）提出 Online Merging Optimizer 缓解对齐税
| 方法 | 论文 | 原理 |
|---|---|---|
| PPO-ptx | InstructGPT | PPO 梯度中混入预训练 log-likelihood（γ=27.8） |
| DPO 替代 PPO | DPO | 解析地吸收归一化项，避免 RM 过拟合导致的退化 |
| Online Merging Optimizer | Qwen2 | 在线 DPO 中动态融合预训练和偏好梯度 |
| Annealing | Llama 3 | 训练末段用高质量数据调整学习率至 0 |
- 激励对齐：如果对齐税过高，开发者有不使用对齐技术的动机
- 安全悖论：最强大的模型可能最不愿意做对齐（怕失去能力）
- 长期 AGI 风险：超人类 AI 系统的对齐如果伴随高税，可能没有动机实施
- “对齐税不可避免” — InstructGPT 展示 PPO-ptx 大幅缓解；Llama 3 405B 几乎无对齐税
- “KL 惩罚能解决对齐税” — 实验表明仅靠 KL（β 增大 100 倍）无法恢复退化