待验证50% 置信事实精确时间

词表选择比骨干规模更重要：10M 标签配 8k 词表（总参数 8.0M，bpb 1.168）击败 50M 标签配 2k 词表（总参数 33.5M，bpb 1.436）——参数少 4.2 倍，bpb 反而低 18.7%。

1

来源数

50%

置信度

长期有效

时效性

2026/10/13

首次发现

来源

2,103词表是错误吗？小代码模型词表规模实验

涉及实体

vocabulary sizeconcept backbone sizeconcept

相关事实

待验证2,103 token 词表方向性错误：在 10M 规模下，2k 词表比 8k 的 bpb 高出约 19%。78% 相似待验证在保留集上，8k–16k 词表在所有三种模型规模下 bpb 均最低，2k 词表始终表现最差。77% 相似待验证对于7B至13B参数级别的模型，4-bit量化后的输出质量与全精度版本差异很小64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1019331

API

curl https://kongchang.com/api/v1/knowledge/claims/1019331

MCP

get_claim(id=1019331)