DDPM 前向与反向扩散公式推导

前向加噪用重参数化一步直达，反向去噪用贝叶斯公式 + 神经网络近似——两者都是确定性推导，没有“玄学”。

是什么

扩散模型（Denoising Diffusion Probabilistic Models, DDPM）的两条核心公式：

前向加噪（任意 $t$ 一步直达）：

$$x_t = \sqrt{\bar{\alpha}_t}, x_0 + \sqrt{1 - \bar{\alpha}_t}, \varepsilon, \quad \varepsilon \sim \mathcal{N}(0, I)$$

反向去噪（逐步从噪声恢复数据）：

$$x_{t-1} = \frac{1}{\sqrt{\alpha_t}}\left(x_t - \frac{1-\alpha_t}{\sqrt{1-\bar{\alpha}$$t}},\varepsilon\theta(x_t, t)\right) + \sigma_t \delta, \quad \delta \sim \mathcal{N}(0, I)

这两条公式分别是 DDPM 训练和推理的数学核心。下面从 Markov 链的物理直觉出发，逐步推导。

前向加噪公式推导

单步加噪：Markov 链假设

DDPM 将加噪定义为 Markov 扩散过程——每一步在前一步基础上加高斯噪声：

$$q(x_t \mid x_{t-1}) = \mathcal{N}\left(x_t;; \sqrt{1-\beta_t}, x_{t-1},; \beta_t I\right) \qquad (1)$$

符号	含义
$\beta_t \in (0,1)$	噪声调度（noise schedule），控制每步加多少噪声，通常 $\beta_1 < \beta_2 < \dots < \beta_T$
$\sqrt{1-\beta_t}$	对先前状态的缩放因子：“保留信号”的比例
$\beta_t I$	新添加噪声的方差

为什么是这个形式？ 这是**方差保持（variance-preserving, VP）**扩散过程。经过 $T$ 步后，$x_T$ 渐进收敛到 $\mathcal{N}(0, I)$——无论 $x_0$ 是什么分布。这是扩散模型能从任意噪声出发生成任意图像的数学根基。

重参数化：一步跳到任意 $t$

高斯分布的核心性质——两个独立高斯之和仍为高斯——意味着不需要迭代 $t$ 步才能得到 $x_t$。

先引入简写 $\alpha_t = 1 - \beta_t$，利用重参数化技巧把 $(1)$ 写成：

$$x_t = \sqrt{\alpha_t}, x_{t-1} + \sqrt{1-\alpha_t}, \varepsilon_{t-1}, \quad \varepsilon_{t-1} \sim \mathcal{N}(0, I)$$

递归展开：

$$\begin{aligned} x_t &= \sqrt{\alpha_t}, x_{t-1} + \sqrt{1-\alpha_t}, \varepsilon_{t-1} \[4pt] &= \sqrt{\alpha_t},\left(\sqrt{\alpha_{t-1}}, x_{t-2} + \sqrt{1-\alpha_{t-1}}, \varepsilon_{t-2}\right) + \sqrt{1-\alpha_t}, \varepsilon_{t-1} \[4pt] &= \sqrt{\alpha_t \alpha_{t-1}}, x_{t-2} + \underbrace{\sqrt{\alpha_t(1-\alpha_{t-1})}, \varepsilon_{t-2} + \sqrt{1-\alpha_t}, \varepsilon_{t-1}}$${\text{两个独立高斯噪声的加权和}} \[4pt] &= \sqrt{\alpha_t \alpha{t-1}}, x_{t-2} + \sqrt{1 - \alpha_t \alpha_{t-1}}, \varepsilon' \end{aligned}

继续递归到底，定义 $\bar{\alpha}_t = \prod_{s=1}^t \alpha_s$，得到最终形式：

$$\boxed{x_t = \sqrt{\bar{\alpha}_t}, x_0 + \sqrt{1 - \bar{\alpha}_t}, \varepsilon, \quad \varepsilon \sim \mathcal{N}(0, I)} \qquad (2)$$

关键洞察：$\bar{\alpha}_t \in [0, 1]$ 随时间递减——$t=0$ 时 $\bar{\alpha}_0 \approx 1$（几乎原图），$t=T$ 时 $\bar{\alpha}_T \approx 0$（几乎纯噪声）。不需要逐步迭代，任意 $t$ 一步直达，训练效率大幅提升。

反向去噪公式推导

如果能算真实后验……

如果我们知道 $x_0$，反向条件分布 $q(x_{t-1} \mid x_t, x_0)$ 可以用贝叶斯公式精确推导：

$$q(x_{t-1} \mid x_t, x_0) = \frac{q(x_t \mid x_{t-1}), q(x_{t-1} \mid x_0)}{q(x_t \mid x_0)}$$

把三个高斯分布概率密度函数代入、展开、整理，得到同样形式的高斯：

$$q(x_{t-1} \mid x_t, x_0) = \mathcal{N}\left(x_{t-1};; \tilde{\mu}_t(x_t, x_0),; \tilde{\beta}_t I\right)$$

其中精确均值 $\tilde{\mu}_t$ 为：

$$\tilde{\mu}t(x_t, x_0) = \frac{\sqrt{\bar{\alpha}{t-1}},\beta_t}{1-\bar{\alpha}t},x_0 + \frac{\sqrt{\alpha_t},(1-\bar{\alpha}{t-1})}{1-\bar{\alpha}_t},x_t \qquad(3)$$