[控场AI]
模型YuE2 / Yue2

YuE2

开源音乐生成模型YuE系列的迭代版本,专注于根据文本提示或歌词生成带有人声演唱和伴奏的完整音乐片段,支持歌词到人声的映射

核心事实

时间轴 (近 90 天)

10月14日

YuE2 的 AR 组件以因果方式处理符号和语义序列,NAR 组件通过双向流匹配实现声学序列,联合概率表示为 p(s, c, z | y) = p_AR(s, c | y) × p_NAR(z | y, s, c)。

待验证50%
10月14日

YuE2 的生成过程分解为三种表示:符号 token(ABC 乐谱)、25Hz 的密集语义音乐 token、以及由变分自编码器解码为 48kHz 立体声音频的 25Hz 连续声学潜变量。

待验证50%
10月14日

YuE2 底层使用 28 层的 Mixture-of-Transformers(MoT)架构,并行运行自回归(AR)和非自回归(NAR)两种专家类型,它们共享注意力计算但使用独立的归一化、投影和前馈层。

待验证50%
10月14日

YuE2 由多模态艺术投影团队(MAP)发布,采用先生成 ABC notation 乐谱再渲染为音频的分阶段生成流程,作者称之为符号规划。

待验证50%
10月14日

YuE2 的模型权重、代码以及 MERT2 和 SheetSage2 两个辅助模型均已在 GitHub 和 Hugging Face 上发布,项目页面为 map-yue2.github.io。

已过期50%
10月14日

YuE2 的符号规划支持智能体音乐编辑、零样本翻唱和定向局部编辑三类交互,这些交互依赖 ABC 乐谱作为人类可读、机器可编辑的显式中间表示。

待验证50%
10月14日

在直接与 Suno v5 比较时,YuE2 的 best-of-8 配置产生了几乎均衡的偏好结果。

已过期50%
10月14日

在专家听音评估中,参与者对符号规划输出的偏好率为 49.3%,非规划生成为 34.6%,其余约 16% 为无偏好。

待验证50%
10月14日

在 WildSongBench (WSB) 基准上,YuE2 取得了 6.73 的 SongBench 全球平均分,在报告发布时是所有公开基线中最高的;采用 best-of-8 策略后分数升至 6.96,是所有评估系统中观察到的最高均值,包括商业系统。

已过期50%
10月14日

SheetSage2 执行整曲 lead-sheet 转录,将音频录音转换为 ABC notation,为 YuE2 训练提供符号监督目标 s。

待验证50%

还有 40 条时间轴事件

全部知识事实 (20)

已验证

YuE2-3B 是一款开源音乐生成模型

70%
已验证

YuE 是一个开源音乐生成模型系列,能根据文本提示或歌词生成带有人声演唱和伴奏的完整音乐片段

70%
已验证

Yue2根据用户提供的歌词和风格提示,生成以ABC记谱格式呈现的旋律和和弦符号化方案

65%
部分验证

音频是时序信号,音乐生成模型需要保持长时间跨度上的连贯性,将其集成进以图像/视频为主的工作流引擎需要在采样调度、内存管理和输出格式上做专门适配

80%
待验证

YuE2 Studio 提供 Full、Melody、Direct 三种音频模式供用户选择

60%
待验证

Yue2是一款采用白盒符号规划方法的音乐生成模型,将音乐生成分解为符号化方案生成和音频渲染两个阶段

60%
待验证

YuE2 底层使用 28 层的 Mixture-of-Transformers(MoT)架构,并行运行自回归(AR)和非自回归(NAR)两种专家类型,它们共享注意力计算但使用独立的归一化、投影和前馈层。

50%
待验证

YuE2 的生成过程分解为三种表示:符号 token(ABC 乐谱)、25Hz 的密集语义音乐 token、以及由变分自编码器解码为 48kHz 立体声音频的 25Hz 连续声学潜变量。

50%
待验证

SheetSage2 执行整曲 lead-sheet 转录,将音频录音转换为 ABC notation,为 YuE2 训练提供符号监督目标 s。

50%
待验证

在专家听音评估中,参与者对符号规划输出的偏好率为 49.3%,非规划生成为 34.6%,其余约 16% 为无偏好。

50%
待验证

YuE2 由多模态艺术投影团队(MAP)发布,采用先生成 ABC notation 乐谱再渲染为音频的分阶段生成流程,作者称之为符号规划。

50%
待验证

YuE2 的 AR 组件以因果方式处理符号和语义序列,NAR 组件通过双向流匹配实现声学序列,联合概率表示为 p(s, c, z | y) = p_AR(s, c | y) × p_NAR(z | y, s, c)。

50%
待验证

YuE2 的符号规划支持智能体音乐编辑、零样本翻唱和定向局部编辑三类交互,这些交互依赖 ABC 乐谱作为人类可读、机器可编辑的显式中间表示。

50%
待验证

本地AI模型部署时应先用约30秒短音频做冒烟测试,以低成本验证环境与模型是否匹配,避免长时间生成后崩溃

50%
待验证

YuE2是一个由香港团队联合香港高校共同开发的开源AI音乐生成模型

50%
待验证

YuE2脚本的默认模型路径是models/月二-3b文件夹,绝大多数找不到模型的报错都是因为模型放错位置

50%
待验证

YuE2提供专门的FP16版本以覆盖不支持BF16的图灵架构显卡用户

50%
待验证

YuE2模型本身不支持商用,生成中断后不支持断点续传,只能重新开始

50%
待验证

YuE2是一个3B参数规模的模型,磁盘占用约6.8GB,加上约0.5GB的VAE模型整体权重约7.3GB

50%
待验证

UP主使用2080Ti 22G显卡生成一首歌大约需要十几分钟

50%

来源文章