待验证70% 置信事实时间未知

解决灾难性遗忘的方案是在训练时混入10%-20%的原始预训练数据

1

来源数

70%

置信度

长期有效

时效性

2026/6/3

首次发现

来源

大模型训练全流程解析：预训练、SFT微调与偏好对齐通俗详解

bilibili小全栈

涉及实体

Catastrophic Forgettingconcept

相关事实

待验证过拟合的应对方法包括增加训练数据、正则化、早停和Dropout73% 相似待验证对抗过拟合的方法包括正则化、Dropout（训练时随机屏蔽部分神经元）以及增加训练数据71% 相似待验证实际Agent Tuning项目中数据准备、超参调优、多次实验迭代的总成本通常是单次训练的5-10倍70% 相似待验证精确遗忘通过剔除目标数据后重新训练模型实现完全删除，对数十亿参数大模型成本极其高昂，一次完整训练可能耗费数百万美元的计算资源69% 相似待验证Fine-tuning在预训练模型基础上用数千至数万条领域数据二次更新参数，更适合固定格式输出、高度专业化的垂直场景，知识更新灵活性较低69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/39836

API

curl https://kongchang.com/api/v1/knowledge/claims/39836

MCP

get_claim(id=39836)