待验证50% 置信事实精确时间
自然文本的字符级困惑度通常在个位数到几十之间。
1
来源数
50%
置信度
长期有效
时效性
2026/10/23
首次发现
来源
涉及实体
相关事实
待验证一套可用的拉丁字体通常需要覆盖基本拉丁字母、数字、标点符号以及重音变体，数量在数百个字符以上。71% 相似待验证每套假名各有46个基本字符，加上浊音、半浊音和拗音的组合变体，总计需要掌握的字符超过100个69% 相似待验证困惑度高度依赖tokenizer，不同分词器切分的token粒度不同，同一段文本的token数量不同，困惑度数值无法直接比较。68% 相似待验证Rico Sennrich 等人在 2016 年的论文《Neural Machine Translation of Rare Words with Subword Units》中量化：在一亿词的德语语料上，保留完整单词需要 175 万条词表，测试集仍留下 1,079 个未知词；拆成字符需要约 3,000 个符号，但语料膨胀到 5.5 亿个位置；子词方法 BPE 约 63,000 个符号、1.12 亿个位置、零个未知词。68% 相似待验证基准包含三种语言条件：自然文本（锁定修订版本的乌尔都语维基百科句子）、打乱文本（相同词汇按确定性随机顺序排列）、伪文本（保留空格、标点与token长度的确定性字符序列但移除普通词汇的可预测性）。67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1088164API
curl https://kongchang.com/api/v1/knowledge/claims/1088164MCP
get_claim(id=1088164)