待验证50% 置信观点精确时间
LoRA/PEFT的低秩更新只调整权重矩阵的少数方向，可能恰好放大预训练中已存在的潜在耦合方向，且基于全参数变化的异常检测难以捕捉这种定向放大。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
涉及实体
相关事实
已验证LoRA微调时冻结原始模型参数不动，只更新插入的低秩矩阵，显存需求和训练成本大幅降低75% 相似已验证PEFT技术的核心思想是不更新全部参数，而是引入少量可训练的适配器参数（如LoRA的低秩矩阵分解），降低显存和计算需求同时保留接近全量微调的效果74% 相似待验证微调过程中过度依赖微调部分，可能正是罕见类能力被遮蔽的根源；将模型计算适度导向预训练组件，或许是一条更稳健的微调路线。72% 相似待验证LoRA使用缩放因子alpha/r对更新量进行缩放，调整r时不需要大幅重新调优学习率，降低超参数搜索成本。72% 相似待验证当数据中存在明显的异方差结构时，单一全局早停点可能并非最优，值得探索区域自适应的训练策略71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1070461API
curl https://kongchang.com/api/v1/knowledge/claims/1070461MCP
get_claim(id=1070461)