待验证50% 置信事实精确时间
子词分词器（如BPE、WordPiece）会将E4012这类标识符拆分为E、40、12等常见片段，导致精确字符信息被稀释，使标识符在嵌入空间中失去区分度。
1
来源数
50%
置信度
长期有效
时效性
2026/10/20
首次发现
来源
涉及实体
相关事实
待验证大多数主流分词器（BPE、WordPiece）将数字按字符级别分割，导致数字的位值结构在输入阶段就已被破坏77% 相似待验证子词分词将单词切成更小的片段，常见算法有 BPE、WordPiece 和 Unigram，SentencePiece 是其中一种与语言无关的工程实现。72% 相似待验证嵌入模型编码的是段落的主题而非精确字符，导致相邻错误码（如E4012和E4021）在向量空间中几乎重合，排序近乎随机。69% 相似待验证字素簇是人类感知的最小书写单位，可能由多个标量值组合而成，例如 e 加组合尖音符、家庭 emoji 由多个码点通过零宽连接符拼接。66% 相似待验证BM25等基于词频的稀疏检索在同一概念有多种不同表述时会大量漏召回66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1072977API
curl https://kongchang.com/api/v1/knowledge/claims/1072977MCP
get_claim(id=1072977)