待验证60% 置信事实时间未知

同样的中文文本在不同大模型服务商处消耗的 Token 数量可能相差 30%-50%

2

来源数

60%

置信度

长期有效

时效性

2026/6/1

首次发现

来源

One API：统一管理30+大模型的开源API网关完全指南

githubsongquanpeng

涉及实体

OpenAIcompany tiktokenproduct

相关事实

待验证不同分词算法（BPE、WordPiece等）导致同一段中文文本在不同模型中消耗的Token数量可能相差20%-40%79% 相似已验证处理中文内容的Token消耗往往高于等量英文内容78% 相似待验证中文字符在不同tokenizer下的Token数量差异可达30%-50%75% 相似待验证128K tokens约对应10万字中文内容73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/30404

API

curl https://kongchang.com/api/v1/knowledge/claims/30404

MCP

get_claim(id=30404)