待验证50% 置信事实精确时间
BPE 是在字节层面操作的，因此任意 Unicode 文本（包括 emoji、中文、代码符号）都能被无损编码。
1
来源数
50%
置信度
长期有效
时效性
2026/10/13
首次发现
来源
涉及实体
相关事实
待验证中文、日文等表意文字因BPE词表以英语语料为主，往往需要更多Token表达相同信息量68% 相似待验证朗读器应只接收消息正文并先剥离表情符号，否则emoji会被读成莫名其妙的音节（如蛋糕🎂被读成「chha」）65% 相似待验证Unicode同形字攻击可用西里尔字母「а」替换拉丁字母「a」，人眼无法分辨但哈希指纹完全不同，可绕过精确字符串匹配65% 相似待验证SentencePiece 由 Google 开发，直接在原始 Unicode 码位上运算，无需依赖预分词步骤，对中文、日文等无空格分隔语言更友好；Llama、Mistral 等模型对中文分词效率普遍低于专门针对中文优化的 Qwen 等国内模型65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1015400API
curl https://kongchang.com/api/v1/knowledge/claims/1015400MCP
get_claim(id=1015400)