Unverified70% confidenceFactTime unknown
解决灾难性遗忘的方案是在训练时混入10%-20%的原始预训练数据
1
Sources
70%
Confidence
Long-term
Relevance
6/3/2026
First Seen
Sources
大模型训练全流程解析：预训练、SFT微调与偏好对齐通俗详解
bilibili小全栈
Related Entities
Related Claims
Unverified过拟合的应对方法包括增加训练数据、正则化、早停和Dropout73% similarUnverified对抗过拟合的方法包括正则化、Dropout（训练时随机屏蔽部分神经元）以及增加训练数据71% similarUnverified实际Agent Tuning项目中数据准备、超参调优、多次实验迭代的总成本通常是单次训练的5-10倍70% similarUnverified精确遗忘通过剔除目标数据后重新训练模型实现完全删除，对数十亿参数大模型成本极其高昂，一次完整训练可能耗费数百万美元的计算资源69% similarUnverifiedFine-tuning在预训练模型基础上用数千至数万条领域数据二次更新参数，更适合固定格式输出、高度专业化的垂直场景，知识更新灵活性较低69% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/39836API
curl https://kongchang.com/api/v1/knowledge/claims/39836MCP
get_claim(id=39836)