待验证50% 置信事实精确时间
论文作者从四个公开来源收集了约110万条信德语句子,并加入了一个较小的乌尔都语、波斯语和阿拉伯语切片来训练分词器。
1
来源数
50%
置信度
长期有效
时效性
2026/11/17
首次发现
来源
涉及实体
相关事实
待验证一篇关于信德语分词器的论文训练了基于SentencePiece Unigram的分词器,并与14个现有分词器在四个评测集上进行了系统比较。76% 相似待验证AraBERT的训练数据来源包括阿拉伯语维基百科、新闻语料等共约24GB的现代标准阿拉伯语文本69% 相似待验证语言守卫研究将指令翻译成德语、法语、土耳其语、斯瓦希里语和阿姆哈拉语,在1,220个标注步骤上测试,并发布了基准和489k条判断记录。68% 相似待验证该微调模型的训练集包含 279,904 个问题-段落对,其中哈萨克语、乌兹别克语、吉尔吉斯语的问题由作者的语言模型针对源段落合成生成,并混入了塔吉克语复习数据和英语、俄语回放数据。65% 相似待验证Rico Sennrich 等人在 2016 年的论文《Neural Machine Translation of Rare Words with Subword Units》中量化:在一亿词的德语语料上,保留完整单词需要 175 万条词表,测试集仍留下 1,079 个未知词;拆成字符需要约 3,000 个符号,但语料膨胀到 5.5 亿个位置;子词方法 BPE 约 63,000 个符号、1.12 亿个位置、零个未知词。64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1178554API
curl https://kongchang.com/api/v1/knowledge/claims/1178554MCP
get_claim(id=1178554)