资料摘要：GPT-4 Technical Report
OpenAI 发布的 GPT-4 技术报告，展示了多模态 Transformer 在专业基准上的人类水平表现（律师考试前 10%）。以安全性为由有意省略架构细节和模型规模。 🔒 GPT-4 Technical Report
- 多模态：接受图像+文本输入，文本输出（首个主流多模态 LLM）
- 人类水平：美国统一律师资格考试 298/400（前 10%），GPT-3.5 为倒数 10%
- 可预测规模化：用小于 GPT-4 千分之一的计算量训练小模型，准确预测最终性能
- 有意不透明：论文明确声明“出于竞争格局和安全影响考量”不披露模型规模、架构、训练算力
关键基准测试
Section titled “关键基准测试”| 基准 | GPT-4 | GPT-3.5 | 此前最优 |
|---|---|---|---|
| MMLU (5-shot) | 86.4% | 70.0% | 75.2% (Flan-PaLM) |
| HellaSwag (10-shot) | 95.3% | 85.5% | 85.6 |
| ARC (25-shot) | 96.3% | 85.2% | 86.5% |
| WinoGrande | 87.5% | 81.6% | 85.1% (PaLM) |
| HumanEval (0-shot) | 67.0% | 48.1% | 65.8% |
| GSM-8K (5-shot CoT) | 92.0% | 57.1% | 87.3% (Minerva) |
专业考试： LSAT 163（前 12%）、SAT 阅读写作 710/800（前 7%）、GRE Verbal 169/170（前 1%）、GRE Quantitative 163/170（前 20%）
MMLU 基准覆盖 26 种语言，GPT-4 在 24 种语言上的英文测试成绩超越此前最佳模型。包括拉脱维亚语、威尔士语、斯瓦希里语等低资源语言。
- RLHF 后训练 + 基于规则的奖励模型 (RBRM)：零样本 GPT-4 分类器为策略提供额外奖励信号，在拒绝有害内容和避免过度拒绝安全请求间做平衡
- 有害内容生成率：GPT-4 0.73% vs GPT-3.5 6.48%
- 被禁止内容拒绝率提升 82%，敏感请求合规率提升 29%
- TruthfulQA 显著优于 GPT-3.5
可预测规模化
Section titled “可预测规模化”- 损失函数遵循幂律：L(C) = aC^b + c（含不可约损失项 b）
- HumanEval pass rate 可从千分之一算力的小模型外推预测
- 逆规模化奖（Inverse Scaling Prize）中的问题被 GPT-4 扭转（如 Hindsight Neglect）
GPT-4 确立了 LLM 性能的新标杆。报告的有意信息不公开引发了关于 AI 透明度的重大讨论，推动了开源社区（Llama、Mistral 等）加速追赶。开源评估框架 OpenAI Evals 随论文发布。