待验证50% 置信事实精确时间
不同模型使用不同的分词算法，如 OpenAI 的 tiktoken、Google 的 SentencePiece，导致同一段文字在不同模型中消耗的 token 数量可能相差 10%-30%
1
来源数
50%
置信度
长期有效
时效性
2026/7/7
首次发现
来源
Kontext：一键迁移AI对话上下文，打破多模型切换壁垒
hackernewshackernews2026/7/3
相关事实
待验证OpenAI 使用 tiktoken 分词算法，Google 使用 SentencePiece 分词算法75% 相似待验证不同 Tokenizer（tiktoken、SentencePiece、Hugging Face 分词器）对同一文本的切分结果可能相差 20%-40%70% 相似待验证OpenAI的tiktoken库与Anthropic的分词器在词汇表构建策略上存在差异，导致相同内容在不同模型间的Token消耗量不同69% 相似待验证大型语言模型的上下文本质上是模型在单次推理中能够处理的全部信息总量，通常以 Token 数量衡量68% 相似待验证Token是模型处理文本的最小计量单位，OpenAI使用BPE算法将高频字符组合编码为单一Token，约75个英文单词≈100个Token68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/195029API
curl https://kongchang.com/api/v1/knowledge/claims/195029MCP
get_claim(id=195029)