待验证50% 置信事实精确时间

词表大小为12,000时，均匀随机猜测下一个token的损失约为ln(12000)≈9.39

1

来源数

50%

置信度

长期有效

时效性

2026/10/12

首次发现

来源

4GB显卡从零训练语言模型：失败比成功更有价值

相关事实

待验证一篇EMNLP研究发现4-bit模型在12.8万token时检索损失平均高达23%，70B LLaMA丢失三分之一分数而同规模QWEN几乎无损66% 相似待验证答案选项顺序会导致Decisions API的置信度漂移约13个百分点65% 相似待验证测试损失与计算量之间的幂律指数约为0.05，意味着计算量每增加10倍，模型性能提升约12%65% 相似待验证十二个模型中有十一个的认输案例里有87.5%到100%停在了用户提供的确切错误数字上，即认输通常意味着倒戈64% 相似待验证11000 个参数的模型所占内存不到 50KB64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1004158

API

curl https://kongchang.com/api/v1/knowledge/claims/1004158

MCP

get_claim(id=1004158)