待验证50% 置信基准精确时间
在 CNN/DailyMail 数据集上的下一词预测对比实验中，ILRN 和 Transformer 参数量各约 532K，分别训练 2000 万个下一词目标，在 96 和 256 两种上下文窗口下独立训练。
1
来源数
50%
置信度
长期有效
时效性
2026/10/13
首次发现
来源
涉及实体
相关事实
待验证该模型训练分两阶段：先在 FineWeb-Edu 约 2000 万句子上做掩码语言模型预训练，再用 1202 万对（噪声, 干净）数据做纠错微调，其中 30% 是恒等对。73% 相似待验证在CNN2叠加剪枝的任务中，可训练参数被压缩到204个，准确率为81.25%71% 相似待验证研究者训练的2900万参数编码器对985条陈述的流行度加权跨折AUC仅为0.486，与语料库先验无法区分69% 相似待验证在演示数据集上训练15轮后，文本分类模型准确率达到99%，模型总参数11万（Attention 1.6万，FFN 3.3万，其余为Embedding）68% 相似待验证在合成预训练基础上用数百张真实数据微调，往往能将mAP提升10-20个百分点68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1013014API
curl https://kongchang.com/api/v1/knowledge/claims/1013014MCP
get_claim(id=1013014)