待验证50% 置信事实精确时间

字符 'r' 的计数错误源于分词器将 'strawberry' 切分为单个 token，模型无法直接访问其内部字符组成。

1

来源数

50%

置信度

长期有效

时效性

2026/10/13

首次发现

来源

大模型为何数不清草莓里的r？深入Tokenizer分词机制

涉及实体

Tokenizerconcept LLMconcept

相关事实

待验证LLM将文本切分为token处理，「strawberry」常被切分为「straw」+「berry」等子词，导致模型在字母级别计数时容易出错72% 相似待验证GPT-4o 分词器对 'How many r's are in strawberry?' 变成 8 个 token：How | ·many | ·r | 's | ·are | ·in | ·strawberry | ?，其中 'strawberry' 是 token #101830。62% 相似待验证用 o200k_base 编码，'I love strawberry' 变成 [40, 3047, 101830]。52% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1022421

API

curl https://kongchang.com/api/v1/knowledge/claims/1022421

MCP

get_claim(id=1022421)