Unverified50% confidenceFactExact time
不同模型使用不同的分词算法，如 OpenAI 的 tiktoken、Google 的 SentencePiece，导致同一段文字在不同模型中消耗的 token 数量可能相差 10%-30%
1
Sources
50%
Confidence
Long-term
Relevance
7/7/2026
First Seen
Sources
Kontext：一键迁移AI对话上下文，打破多模型切换壁垒
hackernewshackernews7/3/2026
Related Claims
UnverifiedOpenAI 使用 tiktoken 分词算法，Google 使用 SentencePiece 分词算法75% similarUnverified不同 Tokenizer（tiktoken、SentencePiece、Hugging Face 分词器）对同一文本的切分结果可能相差 20%-40%70% similarUnverifiedOpenAI的tiktoken库与Anthropic的分词器在词汇表构建策略上存在差异，导致相同内容在不同模型间的Token消耗量不同69% similarUnverified大型语言模型的上下文本质上是模型在单次推理中能够处理的全部信息总量，通常以 Token 数量衡量68% similarUnverifiedToken是模型处理文本的最小计量单位，OpenAI使用BPE算法将高频字符组合编码为单一Token，约75个英文单词≈100个Token68% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/195029API
curl https://kongchang.com/api/v1/knowledge/claims/195029MCP
get_claim(id=195029)