跳转到内容

输入关键词开始搜索

    资料摘要:Khala

    资料摘要更新 2026-05-08置信度 high待阅读原始来源 ↗#音频生成#语言模型#音乐生成

    探索将声学 Token 语言模型扩展到高保真音乐生成的极限,使用 64 层 RVQ 和两阶段 coarse-to-fine 生成策略,2026 年 5 月。 🔒 Khala - Scaling Acoustic Token Language Models

    • 64 层 RVQ 声学 token:大幅增加量化层数以捕捉高保真音频细节
    • 两阶段 coarse-to-fine 生成:首先生成粗粒度结构,再细化到细粒度细节
    • 声学 Token LM 的伸缩极限探索:系统研究将语言模型范式扩展到高保真音乐生成面临的挑战
    • 高保真音乐:目标是在保持音乐结构和创造力的同时实现录音室级别的音质

    现有声学 token LM 通常使用较少的 RVQ 层数(如 8-12 层),音质受限。Khala 探索大幅增加层数到 64 层,挑战高保真生成的极限。

    • 64 层残差向量量化(RVQ)
    • 两阶段生成:粗阶段(低层 token)→ 细阶段(高层 token)
    • 基于语言模型的序列建模

    为声学 token LM 路线的音质上限提供了重要实验证据。

    • 时间:2026.05
    • arXiv: 2605.01790