待验证50% 置信基准精确时间
在强化学习后训练中,Deletion Tuning 学习到的权重变化在稳定秩、谱漂移和主权重重叠三个指标上都最接近全量微调,而 LoRA 和随机稀疏微调则偏离更远。
1
来源数
50%
置信度
长期有效
时效性
2026/11/10
首次发现
来源
删除不到0.05%权重,竟媲美全量微调?
rss2026/11/7
涉及实体
相关事实
待验证SWA(随机权重平均)通过在训练后期以较高学习率遍历权重空间取多个检查点平均值,使模型收敛到更平坦的损失盆地以改善泛化75% 相似待验证LoRA训练步数过多会导致过拟合,表现为生成结果与训练集高度相似、角色表情僵硬姿势固化74% 相似待验证基于LoRA的参数高效对抗微调方法相较于全参数对抗训练在鲁棒性上仍有明显差距。72% 相似待验证领域适应的标准路径是微调,使用 LoRA 或全量微调对预训练权重进行领域适应,以 WER(词错误率)指标评估效果71% 相似待验证评估 LoRA 训练成功时,应在固定提示词和固定随机种子下,用验证集提示词批量生成图像,横向对比不同 checkpoint 的表现。70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1153752API
curl https://kongchang.com/api/v1/knowledge/claims/1153752MCP
get_claim(id=1153752)