待验证50% 置信事实精确时间
字节级建模将文本粒度下沉到UTF-8的单个字节，词表缩减至256
1
来源数
50%
置信度
长期有效
时效性
2026/10/12
首次发现
来源
涉及实体
相关事实
待验证字节回退（byte fallback）机制在分词器遇到词表中找不到的字符时会将其拆解为对应的 UTF-8 字节序列，每个字节映射到形如 <0xE4> 的特殊 token71% 相似已验证text-embedding-ada-002将文本转化为1536维的稠密向量，语义相近的文本在向量空间中距离更近69% 相似待验证嵌入模型可将文本压缩为1536维或1024维的浮点向量，OpenAI的text-embedding-ada-002和Cohere的embed-multilingual是常见示例68% 相似已验证大模型处理文本以Token（词元）为最小处理单元，由分词器完成切分67% 相似待验证一个已发布的406M参数Fusion-in-Decoder专用模型，当输入从截断长文本切换到2000词检索片段时，ROUGE-1分数骤降6.30分67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1000998API
curl https://kongchang.com/api/v1/knowledge/claims/1000998MCP
get_claim(id=1000998)