待验证50% 置信事实精确时间

ensure_ascii 转义不仅增加 token 消耗，还会导致模型读错生僻汉字，落到码点相近但字形含义无关的字符上

1

来源数

50%

置信度

长期有效

时效性

2026/10/12

首次发现

来源

Python json.dumps 默认参数如何让 Claude 多烧 24% Token

涉及实体

相关事实

待验证token的切分逻辑因模型而异，中文、代码、标点的处理各不相同，一段英文可能被切成远多于单词数的token73% 相似待验证UTF-8是变长编码，ASCII字符只需1字节，中文汉字通常需要3字节70% 相似待验证新一代分词器通常能以更少的Token表达相同语义信息，对代码及中文、日文等非拉丁语言处理效率更高68% 相似待验证Opus 4.7的Tokenizer在代码注释、中文混排文本和特殊Unicode符号上采用不同合并策略，导致同样文本切分后Token数量可能变为以往的约1.0至1.7倍67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1003236

API

curl https://kongchang.com/api/v1/knowledge/claims/1003236

MCP

get_claim(id=1003236)