Unverified50% confidenceFactExact time
OpenAI的tiktoken库与Anthropic的分词器在词汇表构建策略上存在差异，导致相同内容在不同模型间的Token消耗量不同
1
Sources
50%
Confidence
Long-term
Relevance
7/19/2026
First Seen
Sources
Related Claims
Unverified不同模型使用不同的分词算法，如 OpenAI 的 tiktoken、Google 的 SentencePiece，导致同一段文字在不同模型中消耗的 token 数量可能相差 10%-30%69% similarUnverified由于大语言模型的采样机制，两次调用同一知识点产出的页面在排版和表达上会有差异，但核心知识结构和交互功能保持一致67% similarUnverifiedOpenAI 使用 tiktoken 分词算法，Google 使用 SentencePiece 分词算法63% similarUnverified当差异来源于后端（如不同引擎的基础模型不同导致格式差异）时，应用提示词模板加插槽处理——模板负责任务本身，插槽负责下游多样化差异63% similarUnverified仅仅改变输入文本的措辞和结构，就能让同一个模型的性能产生数十个百分点的差异62% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/558245API
curl https://kongchang.com/api/v1/knowledge/claims/558245MCP
get_claim(id=558245)