待验证50% 置信权衡取舍精确时间

用2000万token训练的读取器进一步降低了整体LM损失，但在数学任务上出现退化，因此作者选择1500万token作为平衡点

1

来源数

50%

置信度

长期有效

时效性

2026/9/25

首次发现

来源

Qwengram-0.8B实验：跨模型迁移n-gram记忆，困惑度降低5.05%

涉及实体

Qwengram-0.8Bmodel

相关事实

待验证消融实验显示，若继续训练主干通用知识掉10%、数学掉17.8%；若两塔共享权重则通用任务掉26%，其余指标全线崩溃75% 相似待验证发布的checkpoint按块大小16训练，若将采样块大小改为64，HumanEval从76%跌至约20%，GSM8K从高位跌到2.2%67% 相似待验证在演示数据集上训练15轮后，文本分类模型准确率达到99%，模型总参数11万（Attention 1.6万，FFN 3.3万，其余为Embedding）65% 相似待验证测试损失与计算量之间的幂律指数约为0.05，意味着计算量每增加10倍，模型性能提升约12%65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/949989

API

curl https://kongchang.com/api/v1/knowledge/claims/949989

MCP

get_claim(id=949989)