Ruby-OPD
一种面向日语文本转语音的两阶段流匹配TTS模型,通过Ruby文本表示与正字法扰动实现发音可控性,并结合On-Policy蒸馏在无配对语音数据上提升多音字准确率。
时间轴 (近 90 天)
Ruby-OPD提出一个两阶段框架,旨在流匹配TTS架构上同时解决日语TTS中发音可控性与自然度之间的矛盾。
Ruby文本是日语中在汉字上方标注读音的排版惯例,Ruby-OPD将其作为表示层手段,通过正字法扰动使模型在训练中同时接触表层书写形式和目标发音。
Ruby-OPD引入On-Policy Distillation(OPD),在无需配对语音的大规模纯文本语料上继续优化发音准确率。
在Joyo-Kanji-Yomi基准上,Ruby-OPD在原始文本输入下取得准确率97.13%、目标音素错误率(Target PER)2.02%、句子级音素错误率(Sentence PER)0.70%、句子级字符错误率(Sentence CER)4.21%。
Ruby标注的获取成本、扰动策略的设计细节以及OPD在更大规模语料上的稳定性仍是后续需要观察的工程问题。
全部知识事实 (5)
Ruby-OPD提出一个两阶段框架,旨在流匹配TTS架构上同时解决日语TTS中发音可控性与自然度之间的矛盾。
50%待验证Ruby文本是日语中在汉字上方标注读音的排版惯例,Ruby-OPD将其作为表示层手段,通过正字法扰动使模型在训练中同时接触表层书写形式和目标发音。
50%待验证Ruby-OPD引入On-Policy Distillation(OPD),在无需配对语音的大规模纯文本语料上继续优化发音准确率。
50%待验证在Joyo-Kanji-Yomi基准上,Ruby-OPD在原始文本输入下取得准确率97.13%、目标音素错误率(Target PER)2.02%、句子级音素错误率(Sentence PER)0.70%、句子级字符错误率(Sentence CER)4.21%。
50%待验证Ruby标注的获取成本、扰动策略的设计细节以及OPD在更大规模语料上的稳定性仍是后续需要观察的工程问题。
50%