YuE2：符号规划如何让AI音乐生成可控可编辑

从黑盒到乐谱：AI音乐生成的新思路

大多数音乐生成模型把作曲当作黑箱操作：输入一段文字提示，音频从密集的神经网络中涌现，没有人——包括模型自己——能中途检查或编辑这个过程。YuE2 采取了截然不同的路线。根据多模态艺术投影团队发布的技术报告，它先生成一份可读的音乐乐谱，再将乐谱渲染为音频。

这一设计的核心贡献被作者称为符号规划——一种模仿人类作曲家工作方式的分阶段生成流程。模型不直接将文本提示映射到音频 token，而是先用 ABC notation（一种紧凑的文本格式，可编码旋律、和弦、调性、拍号、速度和歌曲结构）写出一份结构化乐谱，然后才进入音频合成阶段。

YuE2技术报告概览

这个顺序带来两个关键好处。其一，符号计划充当承诺机制：和声与旋律结构已经固定，模型无法在歌曲中途自相矛盾。其二，计划是人类可读、机器可编辑的，这打开了一类纯音频模型无法支持的交互方式。

ABC notation 是一种纯文本的音乐记谱格式，用字母表示音高（如 C、D、E）、数字与符号表示时值、调性、拍号等。它最初诞生于 20 世纪 90 年代的互联网民间音乐社区，因紧凑、易读写、便于程序解析，被广泛用于民谣曲库与算法作曲。相比 MIDI，ABC 以文本行组织，天然可被语言模型直接读写和编辑；相比 MusicXML，它更精简，适合序列建模。在 YuE2 的流程中，ABC 乐谱承担了“中间表示”的角色：模型生成的符号序列可直接被人类阅读，也可被下游程序解析成音符事件，再送入声学合成阶段，从而将原本不可解释的音频生成拆解为可审查的步骤。

架构解析：AR–NAR 混合 Transformer

YuE2 在底层使用了 28 层的**Mixture-of-Transformers（MoT）**架构，并行运行两种专家类型——自回归（AR）和非自回归（NAR）——它们共享注意力计算，但使用独立的归一化、投影和前馈层。

生成过程被分解为三种表示：

符号 token（s）：稀疏序列，编码旋律、和弦、调性、拍号、速度和曲式，即 ABC 乐谱。
语义音乐 token（c）：密集的 25 Hz 序列，桥接抽象乐谱与声学信号。
连续声学潜变量（z）：25 Hz 序列，由变分自编码器解码为 48 kHz 立体声音频。

AR 组件以因果方式（从左到右）处理符号和语义序列。NAR 组件则通过双向流匹配实现声学序列，使其在生成音频时能够以完整的符号上下文为条件。联合概率表示为：

p(s, c, z | y) = p_AR(s, c | y) × p_NAR(z | y, s, c)

其中 y 是文本提示（歌词、风格描述或两者兼有）。

**自回归（AR）**生成指模型按从左到右的顺序逐个预测下一个 token，每一步都依赖此前已生成的内容，天然适合具有时间顺序的序列。**非自回归（NAR）**则一次性并行生成整个序列，或基于完整上下文进行迭代细化，速度更快但难以直接建模强因果依赖。YuE2 的混合设计将两者分工：旋律、和声等结构性符号与语义 token 用 AR 生成，保证时间上的一致性；连续的声学潜变量用 NAR 生成，使其能同时参考完整的符号上下文。**流匹配（flow matching）**是近年来流行的生成建模方法，通过学习从简单分布到目标分布的连续映射来生成样本，相比扩散模型训练更稳定、采样更高效，YuE2 用它来实现声学层的双向生成。

无对齐乐谱的训练方案：MERT2 与 SheetSage2

这种方法面临一个实际挑战：大多数音频训练数据并不附带对齐的符号标注。团队通过构建两个辅助模型来解决这个问题。

SheetSage2 执行整曲 lead-sheet 转录，将音频录音转换为 ABC notation。它在训练期间提供符号监督目标 s，使模型能够从大量现有音乐中学习，无需手工标注的乐谱。

MERT2 是一个多视角音乐表示编码器，提供语义 token c。它在 MARBLE 音乐理解基准的 15 项任务中取得了 14 项的最优结果，为语义层提供了坚实的基础。

两个模型都与 YuE2 一同发布，这意味着完整流程——转录、语义编码和生成——都可供研究人员在此基础上构建。

lead-sheet 转录指从音频中提取主旋律与和弦进行，生成一种简化乐谱（通常只含旋律线、和弦符号和基本结构），而不记录完整配器细节。它与“全谱转录”不同，后者需要识别所有乐器声部，难度高得多。SheetSage2 只做 lead-sheet 层面的转录，使模型能在大量普通录音上自动获得符号监督信号，绕开人工标注瓶颈。MARBLE 基准是评估音乐表示学习模型的综合测试集，覆盖和弦识别、节拍跟踪、调性检测、流派分类等十余项任务，用于衡量编码器是否学到通用的音乐理解能力。MERT2 在 15 项中 14 项最优，说明其语义 token 能承载跨任务共享的音乐信息，为 YuE2 的语义层提供了可靠的监督目标。

符号规划能做什么

ABC 乐谱不只是内部实现细节，它是用户和下游系统可以交互的显式输出。

智能体音乐编辑：由于乐谱是文本，语言模型可以将自然语言反馈（如“让副歌更欢快”或“把调性改为 D 小调”）翻译为具体的乐谱修订。YuE2 随后将修改后的乐谱重新渲染为音频，同时保留未编辑的部分。这创造了真正的编辑循环，而非生成即丢弃的工作流。

零样本翻唱：SheetSage2 可以将参考录音转录为 ABC notation。YuE2 随后可以应用新的风格提示，同时保留旋律结构，无需任何微调即可生成风格转换的翻唱。

定向局部编辑：由于乐谱是有结构的，用户可以修改单个小节——改变和弦配置或旋律乐句——并仅重新渲染受影响的部分。纯音频模型没有等效机制。

性能表现：与商业系统竞争

在 WildSongBench（WSB）基准上，YuE2 取得了 6.73 的 SongBench 全球平均分，在报告发布时是所有公开基线中最高的。采用 best-of-8 选择策略后，分数升至 6.96——这是所有评估系统中观察到的最高均值，包括商业系统。

在专家听音评估中，参与者对符号规划输出的偏好率高于同一检查点的非规划生成，比例为 49.3% 对 34.6%（其余表示无偏好）。当直接与 Suno v5 比较时，best-of-8 配置产生了几乎均衡的偏好——对于一个与闭源商业产品竞争的开源权重系统来说，这是值得注意的结果。

best-of-8 选择策略指模型对同一提示生成 8 个候选输出，再用评分模型或人工规则挑选最优的一个。这种做法能显著提升评测分数，因为极端好样本更容易出现在多次采样中，但代价是推理成本约增加 8 倍。因此阅读对比结果时需注意：采用 best-of-8 的系统在与单次采样的系统比较时并不完全公平。**偏好率（preference rate）**来自盲测听音实验，让评委在不知来源的情况下选择更喜欢哪段音频；49.3% 对 34.6% 意味着剩余约 16% 为无偏好。接近 50% 表示两者难分伯仲，是开源系统对标闭源商业产品的常用参照指标。

对开发者的启示

对于构建音乐相关应用的开发者，YuE2 提供了大多数生成式音频模型所没有的东西：一种结构化中间表示，可以被检查、验证和程序化修改。如果你需要强制执行和声约束、确保特定的歌曲结构，或将用户反馈整合到生成循环中，ABC 乐谱提供了一个自然的干预点。

模型权重、代码以及两个辅助模型（MERT2 和 SheetSage2）均已在 GitHub 和 Hugging Face 上发布。项目页面 map-yue2.github.io 包含演示翻唱和编辑工作流的音频示例。

结构化透明度的长期价值

YuE2 的贡献不仅是一个更好的音乐生成器——它证明了在生成流程中加入显式、可检查的中间表示，可以同时提升质量和可控性。符号规划方法用部分生成速度换来了一个作曲家、开发者和 AI 智能体真正可以协作的系统，而不仅仅是提示然后祈祷。随着音乐生成从新奇事物成熟为生产工具，这种结构化透明度可能会变得更加重要，而非更少。