待验证50% 置信事实精确时间

LLaMA系列使用基于SentencePiece的BPE分词器，词表大小为32,000

1

来源数

50%

置信度

长期有效

时效性

2026/9/11

首次发现

来源

X-CoSD框架详解：跨词表协作推测解码如何加速LLM推理

涉及实体

LLaMAmodel BPEconcept

相关事实

待验证LLaMA 3的分词器从SentencePiece升级为基于tiktoken的BPE分词器，词表大小扩展至128,25677% 相似待验证现代大模型使用BPE或SentencePiece等分词算法构建词汇库，主流模型词汇库规模在3万到15万Token之间75% 相似待验证Llama系列使用SentencePiece BPE分词，Qwen系列使用基于字节级BPE的自定义分词器75% 相似待验证Llama系列模型使用SentencePiece的BPE模式68% 相似已验证现代LLM普遍采用BPE（字节对编码）或WordPiece算法进行分词68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/893633

API

curl https://kongchang.com/api/v1/knowledge/claims/893633

MCP

get_claim(id=893633)