待验证50% 置信事实精确时间

Token的切分方式由模型所使用的分词器（Tokenizer）决定，不同语言的切分效率差异显著

1

来源数

50%

置信度

长期有效

时效性

2026/9/30

首次发现

来源

从「大肥鱼盗取Token」剧情看AI安全隐患

涉及实体

Tokenizerconcept

相关事实

已验证大语言模型中，输出Token通常比输入Token贵2-3倍72% 相似待验证一个Token大致对应3/4个英文单词或更少的中文字符，商业模型按输入与输出Token分别计费68% 相似待验证系统提示词的语言选择会影响输出风格，当系统提示词语言与用户输入语言不一致时会产生行为叠加效应66% 相似待验证Token是大语言模型处理文本的最小单位，大致对应半个到一个英文单词或半个中文字64% 相似待验证大语言模型本质上是概率性的，相同的输入可能产生不同的输出，这与传统软件的确定性行为截然不同64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/962516

API

curl https://kongchang.com/api/v1/knowledge/claims/962516

MCP

get_claim(id=962516)