模型
XLM-RoBERTa
Meta发布的多语言预训练语言模型,基于RoBERTa架构,支持100种语言,其分词器常被用作多语言基线
时间轴 (近 90 天)
11月17日
在64k词汇量设置下,新分词器平均每词1.147个token,优于最佳现有分词器的1.208和XLM-RoBERTa的1.512。
待验证50%
11月10日
XLM-RoBERTa 是 Facebook AI 发布的多语言预训练语言模型,大版参数量约 5.6 亿;BGE-M3 是智源研究院发布的多语言嵌入模型,参数量约 5.7 亿;multilingual-e5-large-instruct 是微软 E5 系列的多语言指令微调版本,参数量约 5.6 亿。
待验证50%