待验证50% 置信事实精确时间
OpenAI的tiktoken库与Anthropic的分词器在词汇表构建策略上存在差异，导致相同内容在不同模型间的Token消耗量不同
1
来源数
50%
置信度
长期有效
时效性
2026/7/19
首次发现
来源
相关事实
待验证不同模型使用不同的分词算法，如 OpenAI 的 tiktoken、Google 的 SentencePiece，导致同一段文字在不同模型中消耗的 token 数量可能相差 10%-30%69% 相似待验证由于大语言模型的采样机制，两次调用同一知识点产出的页面在排版和表达上会有差异，但核心知识结构和交互功能保持一致67% 相似待验证OpenAI 使用 tiktoken 分词算法，Google 使用 SentencePiece 分词算法63% 相似待验证当差异来源于后端（如不同引擎的基础模型不同导致格式差异）时，应用提示词模板加插槽处理——模板负责任务本身，插槽负责下游多样化差异63% 相似待验证仅仅改变输入文本的措辞和结构，就能让同一个模型的性能产生数十个百分点的差异62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/558245API
curl https://kongchang.com/api/v1/knowledge/claims/558245MCP
get_claim(id=558245)