YuE
开源音乐生成模型系列,专注于根据文本提示或歌词生成带有人声演唱和伴奏的完整音乐片段,能够处理歌词到人声的映射
Core Facts
Timeline (last 90 days)
该移植方案已开源在GitHub,包含六步流程,需拉取12.2G模型并校验哈希
官方命令行和T8代码路径在相同种子和歌词下产出的音频时长逐位一致,均为174.91866秒
在该移植方案中绝对不能打开FP8量化,否则结果相对误差高达90%到117%,会静默产出垃圾音频
四项能力实测数据:出歌产出175秒音频、音频转谱4秒素材耗时36秒、乐谱渲染输出PDF和试奏音频、参考音色47秒完成
参考音色是T8作者添加的后处理(分离人声、换音色再重混),与YuE模型本身零代码引用,与官方翻唱功能不同
使用一张16G显存的AMD 9070XT显卡,通过YuE模型本地生成了一首2分55秒的完整中文歌《那年夏天的诺言》,包括词、曲、演唱、伴奏
YuE模型权重由月夜2(m-a-p)团队、香港科技大学与MAP联合发布,采用非商用许可,仅允许研究和学习使用
该实测中峰值显存仅使用到11-12G,远低于官方要求的24G门槛
YuE移植到ROCm平台在源码层面总共只需改动五处
将VAE分块帧数从1024帧改为512帧后,同一请求耗时从613秒降到393秒,提速35.9%,其中VAE解码从313秒降到107秒
4 more timeline events
All Facts (14)
YuE 是一个开源音乐生成模型系列,能根据文本提示或歌词生成带有人声演唱和伴奏的完整音乐片段
70%VerifiedYue2根据用户提供的歌词和风格提示,生成以ABC记谱格式呈现的旋律和和弦符号化方案
65%UnverifiedYuE移植到ROCm平台在源码层面总共只需改动五处
50%Unverified官方命令行和T8代码路径在相同种子和歌词下产出的音频时长逐位一致,均为174.91866秒
50%Unverified在该移植方案中绝对不能打开FP8量化,否则结果相对误差高达90%到117%,会静默产出垃圾音频
50%Unverified四项能力实测数据:出歌产出175秒音频、音频转谱4秒素材耗时36秒、乐谱渲染输出PDF和试奏音频、参考音色47秒完成
50%Unverified参考音色是T8作者添加的后处理(分离人声、换音色再重混),与YuE模型本身零代码引用,与官方翻唱功能不同
50%UnverifiedYuE模型权重由月夜2(m-a-p)团队、香港科技大学与MAP联合发布,采用非商用许可,仅允许研究和学习使用
50%Unverified该实测中峰值显存仅使用到11-12G,远低于官方要求的24G门槛
50%Unverified将VAE分块帧数从1024帧改为512帧后,同一请求耗时从613秒降到393秒,提速35.9%,其中VAE解码从313秒降到107秒
50%UnverifiedYuE 系列走开源、可自托管的路线,与 Suno、Udio 等闭源商业产品形成差异化竞争
50%UnverifiedYuE2-3B 是 YuE 系列的迭代版本
50%Unverified使用一张16G显存的AMD 9070XT显卡,通过YuE模型本地生成了一首2分55秒的完整中文歌《那年夏天的诺言》,包括词、曲、演唱、伴奏
50%Unverified该移植方案已开源在GitHub,包含六步流程,需拉取12.2G模型并校验哈希
50%