待验证50% 置信事实精确时间

朴素字节级分词下孟加拉语被压缩到平均每个token约1.4个字符，而英语约3.9个字符，导致语料库语言平衡被颠倒

1

来源数

50%

置信度

长期有效

时效性

2026/9/23

首次发现

来源

用纯Rust训练语言模型：164美元实验背后的框架陷阱

涉及实体

孟加拉语concept 分词繁殖率陷阱concept

相关事实

已验证大语言模型按token数量计费，1个token约等于4个英文字符或1-2个中文字符72% 相似待验证根据 Simon Willison 实测，新分词器导致英文文本 Token 增幅 +42%，西班牙文 +33%，Python 代码 +27%，中文基本无变化70% 相似待验证为英语优化的BPE分词器会将印度语言文本切分为过多子词单元，导致序列长度膨胀和信息密度下降70% 相似已验证英语中平均1个token约等于4个字符69% 相似待验证孟加拉语-英语的高质量平行数据仅有数百万级别，而英法语对拥有数千万句对齐语料68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/942823

API

curl https://kongchang.com/api/v1/knowledge/claims/942823

MCP

get_claim(id=942823)