待验证50% 置信事实精确时间

Llama系列使用SentencePiece BPE分词，Qwen系列使用基于字节级BPE的自定义分词器

1

来源数

50%

置信度

长期有效

时效性

2026/9/11

首次发现

来源

Osprey：通用预训练让推测解码草稿模型更高效

涉及实体

Llamamodel Qwenmodel

相关事实

待验证Llama系列模型使用SentencePiece的BPE模式76% 相似已验证现代LLM普遍采用BPE（字节对编码）或WordPiece算法进行分词73% 相似已验证主流大模型普遍采用字节对编码（BPE）或其变体（如SentencePiece、tiktoken）进行分词69% 相似待验证LLM的分词器（如BPE）为自然语言设计，会将数值拆解为多个不相关的token，破坏数字的连续性和大小语义68% 相似待验证LLaMA 3的分词器从SentencePiece升级为基于tiktoken的BPE分词器，词表大小扩展至128,25666% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/893139

API

curl https://kongchang.com/api/v1/knowledge/claims/893139

MCP

get_claim(id=893139)