[控场AI]
· 4 分钟阅读· 2,083 字

Fish发布Drama 3:35B3A MoE语音合成模型登顶TTS

Fish发布Drama 3:35B3A MoE语音合成模型登顶TTS

Fish 发布 35B3A 的 MoE 架构 TTS 模型 Drama 3,4bit 量化质量接近原模型,可在 DGX Spark 运行。

Fish 团队发布了文本转语音模型 Drama 3,采用 35B 总参数、3B 激活参数的 MoE 稀疏架构,被社区称为"TTS 新王者"。该模型在 DGX Spark 上运行表现良好,硬件门槛低于参数规模所暗示的水平。其 4bit 量化版本质量非常接近原始模型,使消费级硬件本地部署 35B 级 TTS 成为可能。Fish 在 Hugging Face 提供在线体验空间与模型下载。文章认为,Drama 3 以 MoE 架构切入 TTS 赛道,代表用稀疏激活大模型捕捉语音复杂模式并控制推理成本的新思路,工程落地可行性较强,社区响应也十分热烈。

语音合成领域迎来了一位重量级选手。Fish 团队发布了全新的文本转语音模型 Drama 3,采用 35B 总参数、3B 激活参数的 MoE 架构,被社区用户称为"TTS 新王者"。

Reddit 原帖:New TTS king in town: Fish's Drama 3 35B3A!

Drama 3 的核心规格

Drama 3 最引人注目的特点是其模型架构。35B3A 意味着模型拥有 350 亿总参数,但通过 Mixture of Experts(MoE)设计,每次推理仅激活约 30 亿参数。这种稀疏激活策略让模型在保持大容量知识的同时,大幅降低了推理成本。

据发布者介绍,该模型在 DGX Spark 上运行表现良好,说明其硬件门槛并不像参数规模暗示的那样高不可攀。对于希望在本地部署高质量 TTS 的开发者和研究者来说,这是一个值得关注的信号。

MoE(Mixture of Experts,混合专家)架构是一种稀疏激活的神经网络设计:模型内部包含多个独立的"专家"子网络,外加一个门控网络(router)。每次前向推理时,门控网络根据输入内容动态选择少数几个专家参与计算,其余专家保持关闭。因此,模型的总参数量决定了它可承载的知识容量,而激活参数量才真实反映单次推理的计算开销。以 Drama 3 的 35B3A 为例,35B 意味着权重总量庞大、能覆盖丰富语音模式,3B 则意味着每个 token 实际参与运算的权重仅约三十亿,显存占用和延迟都远低于同等规模的传统稠密模型。这一思路最早在自然语言处理中由 Switch Transformer、GShard 等验证,如今正被迁移到语音合成领域。

量化版本接近原模型质量

对于开源模型社区而言,量化版本的质量一直是关键关切。Drama 3 在这方面给出了令人满意的答案——4bit 量化版本的表现非常接近原始模型。

这意味着用户可以在消费级硬件上运行这个 35B 级别的 TTS 模型,而不必牺牲太多语音质量。对于本地部署场景,这大大降低了准入门槛。

4bit 量化是指将模型权重从训练时常用的 16 位浮点数(FP16/BF16)压缩为 4 位整数表示,通常只保留少量缩放因子来减少精度损失。其直接好处是显存占用约降至原来的四分之一,使得 35B 级模型能够在消费级显卡甚至单台工作站上加载。量化质量的评判标准一般是与原始 FP16 模型的输出做对比:语音合成中常用相似度指标、音频自然度主观评分(如 MOS)来衡量。若 4bit 版本的 MOS 下降在可感知阈值以内,就认为"质量接近原模型"。主流量化方案包括 GPTQ、AWQ、GGUF 等,它们针对权重的分布特点做分组量化,能在压缩率与保真度之间取得较好平衡。

立即体验与获取方式

Fish 团队在 Hugging Face 上提供了在线体验空间,用户可以直接在浏览器中试用 Drama 3 的语音合成效果。同时,模型也开放下载,支持本地运行。

  • 在线体验:Hugging Face Spaces 上的 fishaudio/Drama-3
  • 本地部署:模型权重已开放下载,支持 4bit 量化运行
  • 硬件参考:DGX Spark 可流畅运行

TTS 竞争格局的新变量

近年来,文本转语音技术经历了从传统拼接合成到神经网络端到端生成的转变。大规模语言模型技术的引入,让 TTS 在自然度、情感表达和韵律控制上都有了质的飞跃。

Drama 3 以 MoE 架构切入 TTS 赛道,代表了一种新的思路:用稀疏激活的大模型来捕捉语音中的复杂模式,同时控制推理成本。如果 4bit 量化确实能保持接近原模型的质量,那么这套方案在工程落地上的可行性会显著提升。

社区反应热烈,有用户当天就为其构建了演示应用。这种快速响应也反映出开源社区对高质量 TTS 工具的强烈需求。

DGX Spark 是 NVIDIA 推出的紧凑型桌面级 AI 计算设备,搭载与 Grace Blackwell 架构相关的芯片,定位本地开发与推理,而非数据中心级训练集群。它的意义在于把过去需要多卡服务器才能承载的大模型推理,下放到个人工作站的形态。对于 TTS 这类对延迟敏感的实时任务,DGX Spark 的显存容量与带宽是否能支撑 35B 模型的高效解码,是判断 Drama 3 落地可行性的关键参考。值得注意的是,官方仅说明"运行表现良好",但未给出实时率(RTF)、并发数等硬指标,实际部署时仍需针对具体场景自行实测。

总结

Fish Drama 3 的核心看点在于三点:35B3A 的 MoE 架构设计、4bit 量化下的质量保持、以及在 DGX Spark 等设备上的可运行性。对于关注语音合成技术发展的开发者和研究者,这个模型值得亲自试一试。

分享:

相关推荐