CALM（连续自回归语言建模）

一种将自回归 next-token prediction 从离散 token 扩展到连续潜变量的生成范式：在因果 LM 的每个位置用流匹配头（flow-matching head）替代 softmax 预测 rectified-flow 速度，消除离散 codec 的量化瓶颈，保留全部 LM 工具链（流式推理、上下文条件、高效训练）。

是什么

CALM（Continuous Autoregressive Language Modeling）桥接了三个现存范式的核心优势：

范式	优势	劣势
离散 token AR	LM 接口（流式/上下文/高效训练）	codec 量化瓶颈，多音音乐/复杂音效保真度受限
级联 LM→生成器	避开离散化	中间 code 冻结，阻断端到端优化
非自回归流匹配	高保真连续表示	无流式上下文能力，需外部时长预测

CALM 的解决方案：

• 保留 AR LM 的主干（因果 Transformer）
• 在音频位置用薄流匹配头（线性投影 φ_out: R^H→R^C）替代 softmax，预测潜空间中的 rectified-flow 速度 v = φ_out(h_i)——这是离散 softmax 的连续对应物
• 流匹配头零初始化，训练从 no-op 逐步成长
• 训练目标为 rectified-flow 损失：L_FM = E[||v_θ(h_i) - (ϵ_i - x_i)||²]

为什么重要

1. 消除量化瓶颈：离散 codec 将音频压缩到有限码本（通常 1024 词表），CALM 在连续 64 维潜空间工作——AudioCALM 消融实验中，(a) 离散 baseline → (b) 连续流匹配头是最大的单一提升（Sp. WER 0.040→0.024, Sn. FAD 4.50→3.30, Mu. FAD 4.80→3.45）
2. 端到端优化：LM 和流匹配头共享同一潜空间和单一损失函数，无需冻结中间表示
3. 保留 AR 工具链：支持流式推理、KV-cache、in-context conditioning、标准 LM 训练并行化
4. 原生变长生成：通过 AR-Flow 块因果注意力 + stop head，无需外部时长预测器

工作原理

AR-Flow 注意力

核心创新是块因果注意力掩码——将自回归与流匹配统一在单一注意力模式下：

每个生成步的打包序列：

$$\bigl[c_1,\ldots,c_T,\ x_1,\ldots,x_i,\ \tilde{x}^{(t)}$${i+1},\ldots,\tilde{x}^{(t)}{i+B}\bigr]

掩码规则：

1. 文本 token → 只看前面的文本 token
2. 已提交的干净潜变量 → 全部文本 + 前面的干净潜变量（因果）
3. 当前块的噪声潜变量 → 全部文本 + 全部已提交潜变量 + 块内全双向

• 跨块：因果（自回归承诺，block 1→block 2→…）
• 块内：全双向（流匹配去噪需要的联合上下文）
• 每块 B=1.0s（11 tokens @ 10.75Hz），24 步 Euler 积分去噪
• KV-cache 随块提交增量增长，支持任意长度

训练：单次前向 Teacher Forcing

关键实现技巧——避免逐块前向（O(blocks) 成本）： 打包序列：

$$c,\ x_1,\ldots,x_L\ \Vert\ \tilde{x}^{(t_1)}_1,\ldots,\tilde{x}^{(t_L)}_L$$

左侧为填入 KV cache 的干净前缀；右侧为用于计算损失的噪声副本。 两个半段共享位置嵌入和相同的掩码规则——训练/推理完全一致。右半段每块独立采样时间步 t。成本 = 标准 LM 的 per-token cost。

暴露偏差正则化

推理中逐块提交的潜变量与真实干净潜变量有漂移，teacher forcing 无法捕捉这一 gap：

• Per-block clean-prefix noise（σ_clean=0.1）：干净前缀嵌入加高斯噪声，模拟逐块累积漂移
• Exposure-bias perturbation（γ_exp=0.1）：扰动干净目标 ˜x_i = x_i + α·ξ_i，训练模型从不完美提交中恢复

历史与演进

时间	里程碑	关键点
2023	VALL-E/MusicGen/AudioLM	离散 token AR 在音频的奠基
2024	GIVT (视觉)	视觉领域首个连续输出头（GMM 替代 softmax），ECCV 2024
2024	MAR (视觉)	扩散过程建模连续 token 分布（Diffusion Loss），NeurIPS 2024 Spotlight
2025	DiTAR (音频)	首次将扩散 Transformer 头附着 LM 隐状态做语音生成，ICML 2025
2026.06	AudioCALM	首次将 CALM 扩展到通用音频（speech+sound+music），引入 A-MoME

常见误解

• “CALM 就是 DiT + 流匹配” — CALM 的核心是保留因果 Transformer 的 AR 结构，DiT 通常做非自回归的全序列扩散。CALM 的流匹配是逐块 AR 的，块间因果、块内去噪
• “连续 AR 和离散 AR 一样” — 离散 AR 的 softmax 天然有分布限制（有限类别），连续 AR 需要暴露偏差正则化来弥合训练/推理的漂移 gap
• “CALM 只能做语音” — AudioCALM 证明了 CALM 在语音、音效、音乐三类上均达 SOTA

与相邻概念的区别

概念	区别
离散 token AR	输出是有限码本上的分布（softmax），有量化瓶颈
DiT + 流匹配	通常全序列非自回归去噪，无 AR 上下文/流式能力
级联 LM→生成器	两阶段分开训练，中间 code 冻结
DiTAR (2025)	最早的音频 CALM，但仅语音且无 A-MoME/AR-Flow

相关

• 资料摘要：AudioCALM
• 条件流匹配（CFM） — 流匹配数学基础
• 音频生成 — 应用领域全景
• MoE（混合专家） — A-MoME 的架构基础
• Wiki 目录