待验证50% 置信解决方案精确时间

SFT微调有效但导致小模型通用知识下降，即灾难性遗忘现象，因小模型容量瓶颈突出

1

来源数

50%

置信度

长期有效

时效性

2026/8/29

首次发现

来源

750美元从零训练3个LLM：一位开发者的实战复盘

涉及实体

SFTconcept catastrophic forgettingconcept

相关事实

待验证跳过或简化校准步骤往往是低比特量化后模型质量大幅下滑的主因74% 相似待验证当模型超出显存容量时，系统被迫在显存与系统内存之间反复搬运数据，导致灾难性性能下降72% 相似待验证模型错误可归因于知识缺失、推理能力不足或指令跟随偏差，分别对应补充预训练数据、引入思维链训练数据和优化SFT数据分布等修复路径72% 相似待验证模型微调（Fine-tuning）面临成本高、更新慢、存在灾难性遗忘风险等问题70% 相似待验证RNN存在两大缺陷：无法并行计算导致速度慢，以及长距离依赖信息衰减的健忘问题70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/819750

API

curl https://kongchang.com/api/v1/knowledge/claims/819750

MCP

get_claim(id=819750)