GSLM2
Meta提出的多层级多流语音语言模型,通过高质量离散单元与多流建模缩小语音与文本模型的语言能力差距
时间轴 (近 90 天)
Meta 研究团队提出 GSLM2,通过多层级、多流的表征学习来缩小语音语言模型与文本模型之间的能力差距。
GSLM2 的编码器名为 SpidR 2.0,采用自监督学习并引入可微分预测头来在多层级上诱导高质量的离散单元。
GSLM2 使用多流 SLM 进行联合建模,包含共享时间骨干网络、每个流的独立预测器以及捕捉跨流依赖的自回归头。
研究团队在高达 600 万小时训练数据和 65 亿参数的模型规模上进行了 GSLM2 实验。
GSLM2 在不同数据规模和模型规模下均能持续提升语言能力,并且随数据扩展的效率更高。
在 sWuggy、sBLIMP 和 tSC 三个任务上,GSLM2 将语音模型与文本模型之间的差距缩小了约两个数量级。
GSLM2 的训练代码和模型检查点已在 GitHub 上开源,地址为 https://github.com/facebookresearch/gslm2。
全部知识事实 (7)
Meta 研究团队提出 GSLM2,通过多层级、多流的表征学习来缩小语音语言模型与文本模型之间的能力差距。
50%待验证GSLM2 的编码器名为 SpidR 2.0,采用自监督学习并引入可微分预测头来在多层级上诱导高质量的离散单元。
50%待验证GSLM2 使用多流 SLM 进行联合建模,包含共享时间骨干网络、每个流的独立预测器以及捕捉跨流依赖的自回归头。
50%待验证研究团队在高达 600 万小时训练数据和 65 亿参数的模型规模上进行了 GSLM2 实验。
50%待验证GSLM2 在不同数据规模和模型规模下均能持续提升语言能力,并且随数据扩展的效率更高。
50%待验证在 sWuggy、sBLIMP 和 tSC 三个任务上,GSLM2 将语音模型与文本模型之间的差距缩小了约两个数量级。
50%待验证GSLM2 的训练代码和模型检查点已在 GitHub 上开源,地址为 https://github.com/facebookresearch/gslm2。
50%