[控场AI]
待验证50% 置信事实精确时间

o200k_base是较新GPT系列使用的分词编码，词汇表更大，对代码、JSON这类结构化文本的切分效率通常优于旧版cl100k_base。

1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现

来源

AI Agent工具定义占账单32%：被忽视的Token成本

涉及实体

o200k_baseconceptcl100k_baseconceptOpenAIcompany

相关事实

待验证o200k_base 词表扩大到约 20 万个 token，相比 cl100k_base 对代码中常见符号和多字节字符的编码效率更高78% 相似待验证面向 LLM 的 OCR 工具越来越倾向于输出 Markdown 或带结构标记的文本，以便模型正确解析层级关系60% 相似已验证字节对编码（BPE）分词算法最初由OpenAI在GPT-2中引入，通过迭代合并高频字符对将文本切分为子词单元58% 相似已验证GPT系列模型使用字节对编码（Byte Pair Encoding，BPE）算法将文本切分为Token56% 相似

引用此条事实

Stable URI
https://kongchang.com/claim/1043754
API
curl https://kongchang.com/api/v1/knowledge/claims/1043754
MCP
get_claim(id=1043754)