待验证50% 置信解决方案精确时间
如果微调数据量有限,直接解冻全部参数做微调几乎必然触发遗忘;更稳妥的做法是先冻结主干网络,只训练最后的输出头或适配层。
1
来源数
50%
置信度
长期有效
时效性
2026/11/9
首次发现
来源
涉及实体
相关事实
待验证冻结基准可能因数据泄露被纳入模型训练数据而随时间失去区分力,这是一个权衡77% 相似待验证渐进式解冻(Gradual Unfreezing)从顶层开始逐步解冻并训练更底层参数,可避免灾难性遗忘(Catastrophic Forgetting)74% 相似待验证温度为零的贪心解码会进一步压制模型输出ESCALATE的概率,因为模型倾向选择训练中出现频率最高的回答模式,而上报在指令微调数据中本就稀少73% 相似待验证微调过程中过度依赖微调部分,可能正是罕见类能力被遮蔽的根源;将模型计算适度导向预训练组件,或许是一条更稳健的微调路线。73% 相似已验证PEFT技术的核心思想是不更新全部参数,而是引入少量可训练的适配器参数(如LoRA的低秩矩阵分解),降低显存和计算需求同时保留接近全量微调的效果73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1149858API
curl https://kongchang.com/api/v1/knowledge/claims/1149858MCP
get_claim(id=1149858)