待验证50% 置信事实精确时间
该模型训练分两阶段：先在 FineWeb-Edu 约 2000 万句子上做掩码语言模型预训练，再用 1202 万对（噪声, 干净）数据做纠错微调，其中 30% 是恒等对。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/12
首次发现
有效期至：2027/1/10
来源
涉及实体
相关事实
待验证在演示数据集上训练15轮后，文本分类模型准确率达到99%，模型总参数11万（Attention 1.6万，FFN 3.3万，其余为Embedding）77% 相似待验证实验数据显示，经过5-10轮迭代训练后，模型在低频词汇和长尾知识上的覆盖率下降超过40%，而输出文本在表面流畅性上几乎没有可察觉的退化71% 相似待验证研究者训练的2900万参数编码器对985条陈述的流行度加权跨折AUC仅为0.486，与语料库先验无法区分70% 相似待验证论文中的90亿参数模型在用强化学习训练前，比干净的摘要落后6分69% 相似待验证在合成预训练基础上用数百张真实数据微调，往往能将mAP提升10-20个百分点68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1009455API
curl https://kongchang.com/api/v1/knowledge/claims/1009455MCP
get_claim(id=1009455)