待验证50% 置信事实精确时间

字节回退（byte fallback）机制在分词器遇到词表中找不到的字符时会将其拆解为对应的 UTF-8 字节序列，每个字节映射到形如 <0xE4> 的特殊 token

1

来源数

50%

置信度

长期有效

时效性

2026/10/4

首次发现

来源

Ollama v0.40.0-rc1 发布：MLX 分词器对齐发布者语义

涉及实体

byte fallbackconcept

相关事实

待验证变音符号还原任务是给定去掉变音符号的文本，自动补全每个字符对应的变音标记67% 相似待验证字符编码（UTF-8、GBK）和换行符（Windows的CRLF与Unix的LF）会在分隔符转换中引发问题63% 相似待验证将文本编码为 token ID 后再解码回文本得到的字符串未必与原始输入完全相同（往返一致性问题）63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/974686

API

curl https://kongchang.com/api/v1/knowledge/claims/974686

MCP

get_claim(id=974686)