RMSNorm

LayerNorm 的简化变体，仅使用均方根（RMS）统计量做归一化，去除了均值中心化步骤，计算更快且效果相当，已成为大模型的事实标准。

是什么

RMSNorm 将输入向量的每个元素除以该向量的均方根（RMS），然后乘以可学习的缩放参数 $\gamma$：

$$\mathrm{RMSNorm}(x)=\frac{x}{\mathrm{RMS}(x)}\odot \gamma ,\mathrm{RMS}(x)=\sqrt{\mathrm{mean}(x^2)}$$

与 LayerNorm 的关键区别：不做均值中心化（不减去 mean），仅做缩放。去除了 (x - μ) 步骤，减少一次归约计算。

为什么重要

1. 计算效率：比 LayerNorm 少一次归约操作（不用算均值），在大模型中累积节省显著
2. 效果不降：实验表明 RMSNorm 效果与 LayerNorm 相当甚至略优
3. 事实标准：LLaMA 系列率先采用，之后几乎所有的开源大模型（DeepSeek、Qwen、Mixtral 等）都使用 RMSNorm
4. 训练稳定性：控制激活向量的整体尺度；但它不保证均值为 0，也不把方差严格标准化为 1。实践中与 Pre-Norm 残差结构搭配仍可稳定训练。

工作原理

$$x\in {\mathbb{R}}^d,\mathrm{RMS}(x)=\sqrt{\frac{1}{d}\sum _i{x}_i^2},x_i^{\prime }=\frac{x_i}{\mathrm{RMS}(x)}{\gamma }_i$$

LayerNorm vs RMSNorm 对比：

$$\begin{array}{rlrl}\mathrm{LayerNorm}(x)& =\frac{x-\mu }{\sigma }\odot \gamma +\beta & & \text{两个统计量 }\mu ,\sigma \text{；两个参数 }\gamma ,\beta \\ \mathrm{RMSNorm}(x)& =\frac{x}{\mathrm{RMS}(x)}\odot \gamma & & \text{一个统计量 RMS；一个参数 }\gamma \end{array}$$

历史与演进

方法	提出年份	归一化方式	状态
BatchNorm	2015	批次维度	CV 主流，NLP 不适用
LayerNorm	2016	特征维度，$\mu +\sigma$	NLP 经典方案
RMSNorm	2019	特征维度，仅 RMS	LLM 事实标准
QK-Norm / KV-Norm	2020	Attention 内部 Q/K/V	部分模型采用
DeepNorm	2022	残差后归一化	极深模型（1000层）

归一化位置演进

位置	说明	采用情况
Post-Norm	残差连接之后	原始 Transformer
Pre-Norm	残差连接之前	LLM 主流，训练更稳定
Sandwich Norm	Pre + Post 混用	部分模型探索

常见误解

• “RMSNorm 是 LayerNorm 的简化版所以效果差” — 效果相当，且计算更快
• “RMSNorm 不中心化会导致训练不稳定” — 实践证明 Pre-Norm + RMSNorm 组合训练非常稳定

相关

• RoPE（旋转位置编码）
• GQA（分组查询注意力）
• 资料摘要：LLM架构演进三年回顾
• Wiki 目录