跳转到内容
LLM Wiki个人知识系统

输入关键词开始搜索

    资料摘要：连续值 Token 音频语言模型

    资料摘要更新 2026-05-08置信度 high待阅读原始来源 ↗#音频生成#语言模型#深度学习

    用连续值 token + 掩码下一 token 预测替代离散 RVQ 的量化损失，为音频语言模型提供新范式，ICML 2025。 🔒 Generative Audio Language Modeling with Continuous-valued Tokens

    核心要点

    Section titled “核心要点”
    • 连续值 token：替代传统的离散 RVQ token，避免量化带来的信息瓶颈
    • 掩码下一 token 预测：类似 BERT 风格的自监督训练目标
    • 新范式：为音频语言模型开辟了连续表示 + 掩码预测的新技术路线
    • ICML 2025：顶会接收

    详细笔记

    Section titled “详细笔记”

    动机

    Section titled “动机”

    传统音频语言模型依赖 RVQ 将连续音频离散化为 token，但离散化不可避免地引入量化误差和信息损失。本文探索直接使用连续值 token 的可能性。

    方法

    Section titled “方法”
    • 连续值声学 token（不经过离散量化）
    • 掩码下一 token 预测（Masked Next-Token Prediction）训练目标
    • 在生成时直接从连续表示解码音频

    意义

    Section titled “意义”

    挑战了“音频必须先离散化才能用 LM 建模”的固有假设，为音频语言模型开辟了新范式。

    引用与数据

    Section titled “引用与数据”
    • 发表：ICML 2025
    • arXiv: 2507.09834

    相关

    Section titled “相关”