资料摘要：Mixtral

资料摘要更新 2026-05-04置信度 high待阅读原始来源 ↗#深度#基础#长青#大模型#MoE

Mistral AI 推出的稀疏混合专家 (SMoE) 模型，47B 总参数仅激活 13B/token，在多数基准上超越 Llama 2 70B，Instruct 版本在人类评估中优于 GPT-3.5、Gemini Pro 和 Claude 2.1。Apache 2.0 许可。 🔒 Mixtral of Experts

核心要点

SMoE 架构：基于 Mistral 7B，每层 8 个专家 FFN，每 token 路由到 Top-2 专家
47B 总参数 / 13B 激活：5x 更少激活参数下超越 Llama 2 70B
数学和代码远超 Llama 2 70B，多语言（法/德/西/意）大幅领先
Instruct 版本：SFT + DPO 对齐，MT-Bench 8.30，LMSys Arena Elo 1121（开源最高）
Apache 2.0 许可，完全开放商用

详细笔记

模型架构

参数	值
dim	4096
layers	32
head_dim	128
n_heads	32
n_kv_heads (GQA)	8
hidden_dim	14336
context_len	32768
vocab_size	32000
num_experts	8
top_k_experts	2

每层 MoE：y = Σ Softmax(Top2(x·W_g))_i · SwiGLU_i(x)。所有 FFN 子块替换为 MoE 层（而 GShard 仅替换每隔一层）。

关键基准

基准	Mixtral 8x7B (13B active)	Llama 2 70B	GPT-3.5
MMLU	70.6%	69.9%	70.0%
HellaSwag	86.7%	87.1%	85.5%
ARC Challenge	85.8%	85.1%	85.2%
GSM-8K (5-shot)	58.4%	53.6%	57.1%
MBPP (pass@1)	60.7%	49.8%	52.2%
HumanEval	40.2%	29.3%	—
MATH (4-shot maj@4)	28.4%	13.8%	—

多语言（MMLU）：法语 70.9% vs Llama2 70B 64.3%、德语 71.5% vs 64.2%、西班牙语 72.5% vs 66.0%、意大利语 70.9% vs 65.1%

Instruct 版本：MT-Bench 8.30、LMSys Arena Elo 1121，超越所有 GPT-3.5 版本 (最高 1117)、Claude 2.1 (1117)、Gemini Pro (1111)

路由分析（论文亮点）

专家选择未按领域/主题明显分化（ArXiv、生物、哲学文档的专家分布几乎相同）
唯一例外：DM Mathematics（合成数据）有略微不同的分布
连续 token 常分配给相同专家：高层（layer 15/31）重复分配率 60-67%，远超随机（~46%）
结论：路由更基于语法结构而非语义领域；高层显示显著位置局部性（对缓存优化有启示）

长上下文能力

32K 上下文，Passkey Retrieval 100% 准确率（不受长度或位置影响），Proof-Pile 数据集上 perplexity 随上下文单调下降

偏差评估

BBQ 准确率 56.0%（vs Llama2 70B 51.5%），BOLD 情感分布更正向且方差更小

影响

Mixtral 证明了 MoE 在开源 LLM 中的巨大潜力，以 1/5 激活参数超越 70B 密集模型。Apache 2.0 + 开源推理栈（vLLM/Megablocks）使其可无障碍商用部署。成为后续 MoE 模型（DeepSeek-V2/V3、Qwen2-MoE 等）的重要参照。