待验证50% 置信基准精确时间
在64k词汇量设置下,88.6%的词被保留为单个token。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/11/17
首次发现
有效期至:2027/2/15
来源
涉及实体
相关事实
待验证在64k词汇量设置下,新分词器平均每词1.147个token,优于最佳现有分词器的1.208和XLM-RoBERTa的1.512。74% 相似待验证在bert-base-uncased的一次热态英文编码中,归一化(Normalization)消耗了88%的编码时间,而WordPiece只占8%。69% 相似待验证WordCraft 目前处于 alpha 阶段,作者估计它用命令覆盖了 Word 功能区 88% 的功能,但只走了约 60% 的路程来真正替代 Word,对于日常基本需求这一数字是 63%。68% 相似待验证TinyLlama-1.1B的分词器在处理拉丁文字时,每个单词平均产生1.34个子词token;处理卡纳达语时,每个单词平均产生22.60个token。64% 相似待验证英文困惑度为6.6088,对比基线的6.3638。64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1178559API
curl https://kongchang.com/api/v1/knowledge/claims/1178559MCP
get_claim(id=1178559)