待验证50% 置信事实精确时间
Deletion Tuning 训练得到的掩码比对应的全量微调检查点小几百到几千倍。
1
来源数
50%
置信度
长期有效
时效性
2026/11/10
首次发现
来源
删除不到0.05%权重,竟媲美全量微调?
rss2026/11/7
涉及实体
相关事实
待验证在强化学习后训练中,Deletion Tuning 的先前任务准确率几乎保持在基座水平,而全量微调、LoRA 和随机稀疏微调最多损失 5.4 个百分点。69% 相似待验证该模型训练分两阶段:先在 FineWeb-Edu 约 2000 万句子上做掩码语言模型预训练,再用 1202 万对(噪声, 干净)数据做纠错微调,其中 30% 是恒等对。67% 相似待验证研究团队从零开始训练了一系列仅含解码器(decoder-only)架构的模型,参数规模从4700万到3.49亿不等66% 相似待验证在各松弛验证规则最宽松的设置下,松弛验证平均每轮接受的token数达到无损验证的1.34倍,但生成的完成长度膨胀到1.54倍。66% 相似待验证蒸馏使用600个prompt训练(500训练/100验证),表征余弦相似度达0.9959,语义校正余弦相似度0.9836,在alpha=0.10时混合条件相对于教师桥接余弦相似度达0.99995866% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1153749API
curl https://kongchang.com/api/v1/knowledge/claims/1153749MCP
get_claim(id=1153749)