AI KNOWLEDGE GRAPH · 24 NODES

从Transformer走向生成世界。

一条为这个知识库定制的 AI 学习路径。按层级探索，点击节点进入原始概念页，看到知识之间如何连接。

01

FOUNDATIONS

理解模型如何表达信息

先建立 Transformer 的最小心智模型，再看 token、位置、归一化和注意力如何共同构成大模型的计算骨架。

01入口多模态 LLM从文本走向图像、音频和视频的统一建模。02位置RoPE（旋转位置编码）让注意力感知序列中的相对位置。03稳定RMSNorm用更轻量的归一化稳定深层训练。04效率GQA（分组查询注意力）在表达能力与 KV 缓存之间取平衡。05推理KV Cache理解自回归推理为什么会受内存带宽限制。06规模MoE（混合专家）用稀疏激活换取更大的总参数量。

02

TRAINING

从预训练走向可用模型

模型不会因为规模变大就自动懂人类意图。训练、微调、偏好优化与蒸馏共同决定它最终表现出来的能力。

01对齐起点SFT（监督微调）让基座模型获得稳定的指令遵循能力。02偏好RLHF（人类反馈强化学习）把人类偏好转化为模型的训练信号。03优化PPO（近端策略优化）在策略更新幅度与奖励之间保持稳定。04简化DPO（直接偏好优化）不显式训练奖励模型的偏好优化路径。05推理GRPO（组相对策略优化）用组内相对奖励降低强化学习成本。06压缩Knowledge Distillation（知识蒸馏）把更强模型的行为和判断迁移给学生模型。

03

GENERATIVE MODELS

从噪声生成世界

扩散、流匹配和 DiT 把生成问题重新表达为连续动力系统；理解它们，就能看懂图像、视频、音频生成的共同底层。

01潜空间VAE（变分自编码器）把高维数据压缩到可建模的潜变量空间。02扩散DDPM 前向与反向扩散公式推导用加噪与去噪刻画生成过程。03概率得分匹配（Score Matching）学习数据分布的梯度场。04路径条件流匹配（CFM）直接学习从噪声到数据的连续向量场。05骨干DiT（Diffusion Transformer）用 Transformer 替代 U-Net 扩展生成能力。06控制CFG（无分类器引导）在条件贴合度与多样性之间切换。

04

AUDIO INTELLIGENCE

进入声音与连续世界

AI 的下一层复杂度来自连续信号：语音、音乐和环境声不再只是离散 token，而是可理解、可生成、可交互的世界。

01表示神经音频编解码（RVQ）把连续声音编码为语言模型可以处理的序列。02统一LALM（大型音频语言模型）将音频理解与生成放进同一序列建模框架。03领域音频生成连接语音、音乐、音效与环境声生成。04连续Tokenizer-Free TTS绕过离散 tokenizer，直接生成连续语音表示。05前沿CALM（连续自回归语言建模）把 next-token prediction 扩展到连续音频潜变量。06评测CLAP（对比语言-音频预训练）把文本和声音映射到共同语义空间。