Unverified50% confidenceFactExact time
Llama 3 的词表扩展使得非英语文本（特别是使用非拉丁字母的语言）的编码效率提升约 30-40%
1
Sources
50%
Confidence
Long-term
Relevance
8/8/2026
First Seen
Sources
Related Claims
Unverified根据 Simon Willison 实测，新分词器导致英文文本 Token 增幅 +42%，西班牙文 +33%，Python 代码 +27%，中文基本无变化73% similarUnverifiedem-dash（长破折号）的高频使用是LLM生成文本最显著的语言学特征之一70% similarUnverifiedLLM通过在海量文本语料上进行无监督预训练（预测下一个词）来习得语言能力68% similarUnverified投机解码在常见自然语言任务上可将吞吐量提升2至3倍，但对高度创意性或专业领域输出的加速效果较弱68% similarUnverified包含印地语注释的代码Token消耗可能比纯英文代码高出20-40%67% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/705766API
curl https://kongchang.com/api/v1/knowledge/claims/705766MCP
get_claim(id=705766)