资料摘要：MOSS-SoundEffect v2

资料摘要更新 2026-06-04置信度 medium待阅读原始来源 ↗#音频生成#扩散模型#深度学习#工具

复旦 OpenMOSS 团队（MOSI.AI）开源的文本到音效（TTA）模型，是 MOSS-TTS 家族的“声音设计层”。v2.0 用 DiT 扩散骨干 + Flow Matching 目标（搭配 DAC VAE 与 Qwen3 文本编码器）重构了 v1 的离散 token 自回归（MossTTSDelay）架构，面向更高保真和更自然的长音频环境声，支持中/英双语、48kHz 输出。模型权重托管于 HuggingFace（OpenMOSS-Team/MOSS-SoundEffect-v2.0，Apache-2.0），arXiv 论文待发布。 🔒 MOSS-SoundEffect v2 README

核心要点

范式切换：v1 = MossTTSDelay 离散 RVQ token 自回归（8B 参数）→ v2 = DiT + Flow Matching 连续潜空间扩散，与 CosyVoice 3（CFM→DiT）、UniSonate（MM-DiT）、LongCat-AudioDiT 等“扩散/流匹配回潮”同向
三件套架构：DiT 生成骨干（Flow Matching）+ DAC VAE（音频自编码器，提供潜空间）+ Qwen3 文本编码器（提示词 → 条件表示）
推理配置：默认 num_inference_steps=100、cfg_scale=4.0、bfloat16；时长由 seconds 参数控制；DiT 以 torch.compile + Triton CUDA Graph 加速
能力定位：自然环境声、城市声景、动物/生物声、人类动作声，以及氛围声、类音乐片段、影视/游戏 SFX 与合成数据生成
家族协同：作为 MOSS-TTS 家族的声音设计层，与 MOSS-TTS / MOSS-TTSD / MOSS-VoiceGenerator / MOSS-TTS-Realtime 等语音模型互补
开源生产级：Apache-2.0，提供 Gradio Demo、CLI 与全参数 DiT 微调脚本；暂无公开基准评测数据（arXiv “Coming soon”）

详细笔记

定位与动机

MOSS-SoundEffect 是 MOSS-TTS 家族中专责环境声与音效生成的成员，由复旦 OpenMOSS 团队与 MOSI.AI 维护。它直接从文本描述生成氛围声景和具体音效，用于为语音内容补足沉浸式上下文——即为叙事内容、影视、纪录片、游戏、播客完成“场景沉浸”，也为需要环境上下文（而不只是语音）的语音智能体与交互系统提供“声音设计层”。

设计目标有二：

覆盖度与丰富度：广泛的声音分类法，分层氛围 + 真实纹理
可组合性：易于接入创作流水线（游戏/影视/工具）与合成数据生成

v2.0 架构：DiT + Flow Matching

官方将 v2.0 描述为“a text-to-audio model with a Diffusion Transformer (DiT) backbone trained with the Flow Matching objective, paired with a DAC VAE and a Qwen3 text encoder”。流水线由三个核心组件构成：

组件	角色
DiT（Diffusion Transformer）	生成骨干，以 Flow Matching 目标训练，在潜空间中从高斯噪声迭代去噪
DAC VAE	音频变分自编码器，提供波形的编码/解码与潜空间表示
Qwen3 文本编码器	将文本提示编码为条件表示，注入 DiT

数据流：文本提示 → Qwen3 编码 → DiT 在 DAC 潜空间迭代去噪（条件 + CFG）→ DAC VAE 解码 → 波形 (B, C, T)。

管线类 MossSoundEffectPipeline.from_pretrained() 加载；微调时 VAE / 文本编码器 / tokenizer / scheduler 为冻结子模块。

推理参数（来自官方示例）：

参数	值
`torch_dtype`	`torch.bfloat16`
`seconds`（时长）	示例 `10`，可控
`num_inference_steps`	`100`
`cfg_scale`	`4.0`
输出	`(B, C, T)` 波形张量

工程细节：底层 DiT 用 torch.compile + Triton CUDA Graph 封装加速，首次调用需编译数分钟；遇到 TorchDynamo/Triton 编译错误可设 TORCHDYNAMO_DISABLE=1。运行环境需独立隔离：Python 3.12、numpy==1.26、transformers==4.57、torch==2.9（cu128），与顶层 MOSS-TTS 环境不兼容。

微调：支持从现有 HF 目录做全参数 DiT 微调；元数据为 JSONL，每行两个字段 audio（相对路径）与 prompt（中/英文 caption）。导出微调 checkpoint 时冻结子模块原样复制，无需重新下载 Qwen3 或 DAC VAE。

v1.0 架构：MossTTSDelay（对比基线）

v1.0 是首个版本，沿用 MOSS-TTS 家族共享的 MossTTSDelay 离散 token 自回归骨干：文本提示（可带 duration 等简单控制标签）经 tokenize 后送入延迟模式（Delay-pattern）自回归模型，逐步预测 RVQ 音频 token，再由音频 tokenizer/vocoder 解码为高保真音效。

维度	v1.0 模型卡数据
架构	MossTTSDelay，延迟模式自回归预测 RVQ token
参数量	8B
token 率	1s ≈ 12.5 token（示例 `max_new_tokens=4096` ≈ 327 秒）
推荐解码	`temperature=1.5`、`top_p=0.6`、`top_k=50`、`repetition_penalty=1.2`
张量类型	BF16；可选 FlashAttention 2（算力 ≥ 8.0）
许可	Apache-2.0

v1 vs v2 对比

维度	v1.0	v2.0
生成范式	离散 token 自回归	连续潜空间扩散
骨干	MossTTSDelay（延迟模式 AR）	DiT
训练目标	下一 token 预测	Flow Matching
音频表示	RVQ token + vocoder	DAC VAE 潜空间
文本条件	家族共享 tokenizer	Qwen3 文本编码器
目标改进	—	更高保真、更自然的长音频环境声

能力范围

模型从文本描述生成环境声与动作声，示例覆盖：

自然环境：“fresh snow crunching under footsteps”（积雪在脚下嘎吱作响）
城市环境：“a sports car roaring past on the highway”（跑车在高速上呼啸而过）
动物/生物：“early morning park with birds chirping”（清晨公园鸟鸣）
人类动作：“clear footsteps echoing on concrete”（水泥地上清晰的脚步回响）
另涵盖氛围声、类音乐片段、影视/游戏 SFX 与合成数据生成

中/英双语提示均支持（如 雷声隆隆，雨声淅沥。 与英文 caption）。

在音频生成版图中的意义

MOSS-SoundEffect v2 的 v1→v2 演进，是当前音频/语音生成领域**“从离散 token 语言模型回归连续潜空间扩散/流匹配”**这一趋势的又一例证：

CosyVoice 3 将 CFM 骨干升级为 DiT
UniSonate 用 MM-DiT + 条件流匹配统一 TTS/TTM/TTA
LongCat-AudioDiT 用波形潜空间 DiT 做零样本语音克隆
GenAU 在环境音生成上用 FIT 扩散骨干替代 UNet/DiT

MOSS-SoundEffect 的差异点在于：它是开源、生产级、双语的专用音效模型，并显式作为多模型 TTS 家族的声音设计层定位，而非通用统一模型。

局限与存疑

无公开评测：模型卡标注 “Arxiv — Coming soon”，暂无 FAD/FD/CLAP 等基准对比
v2 参数量未披露：8B 为 v1 数据；v2 参数量官方未公开
部分规格来自发布说明：48kHz 采样率、最长约 30 秒、2026-05-26 发布日期等来自发布公告/二级来源，官方模型卡与 README 未逐字载明（采样率在代码中通过 processor.model_config.sampling_rate 读取，未给出具体 Hz）。本页据此标 confidence: medium

引用与数据

机构：复旦大学 OpenMOSS 团队 / MOSI.AI
模型家族：MOSS-TTS Family（语音 + 声音生成开源模型族）
代码：OpenMOSS/MOSS-TTS（v2 README · v1 模型卡）
权重：OpenMOSS-Team/MOSS-SoundEffect-v2.0（v2）· OpenMOSS-Team/MOSS-SoundEffect（v1，8B）
许可：Apache-2.0
arXiv：待发布（Coming soon）（v2 README + v1 模型卡）