[控场AI]
待验证50% 置信事实精确时间

tiktoken 是 OpenAI 开源的分词库，cl100k_base 是其常用编码方案，一个英文词通常对应 1–2 个 token，中文则更多。

1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现

来源

用AI工作流把一篇内容变成一周推文：本地化流水线实战
rss2026/10/19

涉及实体

tiktokenproductOpenAIcompanycl100k_baseconcept

相关事实

待验证ttok 是一个基于 OpenAI 开源 tiktoken 库构建的命令行工具，用于统计文本的 token 数量。71% 相似已验证OpenAI使用tiktoken分词器进行Token计量70% 相似待验证OpenAI采用基于BPE算法的tiktoken库，GPT-4系列使用cl100k_base词表，包含约10万个token68% 相似待验证Tiktokenizer是OpenAI开源的分词可视化工具，用于展示文本如何被切分为token62% 相似已验证OpenAI使用BPE（Byte Pair Encoding，字节对编码）算法进行Token编码62% 相似

引用此条事实

Stable URI
https://kongchang.com/claim/1068088
API
curl https://kongchang.com/api/v1/knowledge/claims/1068088
MCP
get_claim(id=1068088)