多模态 LLM
能够同时理解和生成多种模态（文本、图像、音频、视频）信息的大语言模型，从 2023 年的“视觉适配”演进到 2024 年的“原生全模态统一模型”。
多模态 LLM 接受文本之外的多种输入（图像、音频、视频），理解跨模态的关联，并生成对应输出。关键技术路线有两条：
- 松耦合方案：先训练文本 LLM，再外挂视觉/音频编码器 + 适配层
- 原生多模态：从头联合训练于多种模态数据，所有模态经同一网络处理
| 时间 | 模型 | 方案 | 特点 |
|---|---|---|---|
| 2023.03 | GPT-4 | 文本 LLM + 图像输入 | 多模态首次进入主流视野 |
| 2023.12 | Gemini | 原生多模态（联合训练） | 同时支持图像/音频/视频，MMLU 首超人类 |
| 2024.03 | Claude 3 | 图像+文本输入 | Constitutional AI 对齐 |
| 2024.07 | Llama 3.1 | 组合式（编码器+适配器） | LLM 权重冻结，仅训练适配层 |
| 2024.10 | GPT-4o | 原生全模态统一模型 | 文本/音频/图像/视频输入+输出，320ms 语音延迟 |
关键架构差异
Section titled “关键架构差异”- GPT-4/GPT-4V 方案：离散的视觉编码器 + 语言模型，多模态是“附加”能力
- Gemini 方案：从预训练开始联合多模态数据，图像/音频/视频与文本在 token 级别交错处理
- GPT-4o 方案：单一 Transformer 网络端到端处理所有模态，包括音频输出
- 多模态是通往通用 AI 的必经之路——世界本质上是多模态的
- 超越纯文本的知识获取（图像、音频中的信息远多于文字）
- 应用场景广阔：医疗影像诊断、文档理解、视频分析、实时语音交互
- “能看图就是多模态” — 真正的多模态需要跨模态推理（如根据图片回答问题、根据音频做决策）
- “多模态模型一定更大” — 原生联合训练可能更高效，而非简单堆砌参数
- LALM（大型音频语言模型） — 音频分支：离散 token + 自回归统一音频理解与生成
- MoE（混合专家）
- 资料摘要：GPT-4 Technical Report
- 资料摘要：Gemini
- Wiki 目录