基准MASSIVE数据集
MASSIVE
亚马逊发布的多语言意图识别基准数据集,覆盖51种语言、18个领域和60个意图类别,广泛用于评估多语言NLU模型性能
时间轴 (近 90 天)
9月25日
Laya在覆盖13种语言的MASSIVE数据集上只有0.45准确率,Banking77只有0.425,而JAF在同任务上报到0.87
待验证50%
9月25日
经过微调,Laya在MASSIVE数据集上可从0.45提升到0.85,另一项任务从0.362提升到0.766
待验证50%
亚马逊发布的多语言意图识别基准数据集,覆盖51种语言、18个领域和60个意图类别,广泛用于评估多语言NLU模型性能
Laya在覆盖13种语言的MASSIVE数据集上只有0.45准确率,Banking77只有0.425,而JAF在同任务上报到0.87
经过微调,Laya在MASSIVE数据集上可从0.45提升到0.85,另一项任务从0.362提升到0.766