待验证50% 置信基准精确时间
在64k词汇量设置下,新分词器平均每词1.147个token,优于最佳现有分词器的1.208和XLM-RoBERTa的1.512。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/11/17
首次发现
有效期至:2027/2/15
来源
涉及实体
相关事实
待验证TinyLlama-1.1B的分词器在处理拉丁文字时,每个单词平均产生1.34个子词token;处理卡纳达语时,每个单词平均产生22.60个token。74% 相似待验证在64k词汇量设置下,88.6%的词被保留为单个token。74% 相似已验证标准自回归语言模型的词表通常包含32,000到128,000个token69% 相似待验证Rico Sennrich 等人在 2016 年的论文《Neural Machine Translation of Rare Words with Subword Units》中量化:在一亿词的德语语料上,保留完整单词需要 175 万条词表,测试集仍留下 1,079 个未知词;拆成字符需要约 3,000 个符号,但语料膨胀到 5.5 亿个位置;子词方法 BPE 约 63,000 个符号、1.12 亿个位置、零个未知词。67% 相似待验证WordCraft 目前处于 alpha 阶段,作者估计它用命令覆盖了 Word 功能区 88% 的功能,但只走了约 60% 的路程来真正替代 Word,对于日常基本需求这一数字是 63%。67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1178558API
curl https://kongchang.com/api/v1/knowledge/claims/1178558MCP
get_claim(id=1178558)