待验证50% 置信事实精确时间
一项系统性实证研究在360M到3.1B参数的仅解码器LLM上使用近200B token进行预训练，考察了十四种正交训练变体。
1
来源数
50%
置信度
长期有效
时效性
2026/11/3
首次发现
来源
涉及实体
相关事实
待验证研究团队训练了一批约1B参数的小模型，一部分用token训练，一部分用byte训练。78% 相似待验证实验确认在受控单头机制中，α_L 精确地将分类法中泛化与非泛化的（PE，任务）单元分开，基于2625次训练模型测量，在词表大小64、维度128下稳定。76% 相似待验证当标注量只有几十到几百条时，直接训练分类器容易过拟合，可考虑用少量样本做嵌入模型微调或采用k近邻分类。74% 相似待验证预训练阶段模型通过自监督学习方式（通常是下一个 token 预测任务）在海量文本语料（通常达数万亿 token 规模）上进行训练74% 相似待验证研究者已证明可以通过修改不到0.1%的训练数据实现LLM后门植入72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1129384API
curl https://kongchang.com/api/v1/knowledge/claims/1129384MCP
get_claim(id=1129384)