待验证50% 置信事实精确时间

o200k_base 词表扩大到约 20 万个 token，相比 cl100k_base 对代码中常见符号和多字节字符的编码效率更高

1

来源数

50%

置信度

长期有效

时效性

2026/10/6

首次发现

来源

Context Lens：精确测量你的代码库消耗AI Agent多少Token

涉及实体

o200k_basetechnology cl100k_basetechnology

相关事实

待验证现代LLM的分词器通常将文本压缩为约10万词汇量的Token序列61% 相似待验证Token是模型处理文本的最小计量单位，OpenAI使用BPE算法将高频字符组合编码为单一Token，约75个英文单词≈100个Token60% 相似待验证符号剥离移除的调试信息和符号表通常占据二进制文件30-50%的体积59% 相似待验证在大模型调用中，输入与输出的文字、代码均折算为token数59% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/980997

API

curl https://kongchang.com/api/v1/knowledge/claims/980997

MCP

get_claim(id=980997)