待验证50% 置信事实精确时间

Llama 3 的词表扩展使得非英语文本（特别是使用非拉丁字母的语言）的编码效率提升约 30-40%

1

来源数

50%

置信度

长期有效

时效性

2026/8/8

首次发现

来源

SPA分词器修复升级：更宽泛Tokenizer的技术解析与实践

相关事实

待验证根据 Simon Willison 实测，新分词器导致英文文本 Token 增幅 +42%，西班牙文 +33%，Python 代码 +27%，中文基本无变化73% 相似待验证em-dash（长破折号）的高频使用是LLM生成文本最显著的语言学特征之一70% 相似待验证LLM通过在海量文本语料上进行无监督预训练（预测下一个词）来习得语言能力68% 相似待验证投机解码在常见自然语言任务上可将吞吐量提升2至3倍，但对高度创意性或专业领域输出的加速效果较弱68% 相似待验证包含印地语注释的代码Token消耗可能比纯英文代码高出20-40%67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/705766

API

curl https://kongchang.com/api/v1/knowledge/claims/705766

MCP

get_claim(id=705766)