待验证50% 置信事实精确时间
XLM-RoBERTa 是 Facebook AI 发布的多语言预训练语言模型,大版参数量约 5.6 亿;BGE-M3 是智源研究院发布的多语言嵌入模型,参数量约 5.7 亿;multilingual-e5-large-instruct 是微软 E5 系列的多语言指令微调版本,参数量约 5.6 亿。
1
来源数
50%
置信度
长期有效
时效性
2026/11/10
首次发现
来源
涉及实体
相关事实
待验证2006年Google翻译初始系统使用了一个在数万亿词文本上训练的5-gram语言模型,这很可能是世界上第一次万亿token规模的语言模型训练68% 相似待验证Meta的MMS(Massively Multilingual Speech)项目已覆盖1100多种语言的预训练模型66% 相似待验证现代多语言模型如mT5、BLOOM和Llama系列在数百种语言的文本上联合训练,通过共享词汇表和跨语言注意力机制构建跨语言语义地图65% 相似待验证BERT 在英文维基百科和 BookCorpus(共约 33 亿词)上进行了掩码语言模型(MLM)预训练65% 相似待验证Qwen的参数规模从70亿到数千亿不等,训练数据涵盖中英文及多语言语料64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1153289API
curl https://kongchang.com/api/v1/knowledge/claims/1153289MCP
get_claim(id=1153289)