待验证50% 置信事实精确时间

LLM的分词器（如BPE）为自然语言设计，会将数值拆解为多个不相关的token，破坏数字的连续性和大小语义

1

来源数

50%

置信度

长期有效

时效性

2026/8/5

首次发现

来源

大语言模型为何在表格预测上不敌XGBoost

相关事实

已验证现代LLM普遍采用BPE（字节对编码）或WordPiece算法进行分词76% 相似待验证大多数主流分词器（BPE、WordPiece）将数字按字符级别分割，导致数字的位值结构在输入阶段就已被破坏75% 相似待验证现代 LLM 通常使用字节对编码（BPE）或类似算法进行分词，英文中平均约 4 个字符对应 1 个 Token72% 相似已验证BPE的核心思路是从字符级别出发，反复合并出现频率最高的相邻字符对，直到词汇表达到预设大小69% 相似待验证LLM+求解器混合架构中，LLM充当自然语言与形式化系统之间的翻译层，专业工具负责实际执行，从而规避数值幻觉风险67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/689003

API

curl https://kongchang.com/api/v1/knowledge/claims/689003

MCP

get_claim(id=689003)