概念spectrum drift
谱漂移
衡量微调前后权重矩阵奇异值谱变化的指标,用于分析微调对模型表示结构的影响程度。
核心事实
时间轴 (近 90 天)
11月10日
在稳定秩、谱漂移和主权重重叠三个几何指标上,Deletion Tuning 比 LoRA 和随机稀疏微调更接近全量微调。
待验证50%
11月10日
研究使用稳定秩、谱漂移和主权重重叠三个指标分析权重变化的几何性质。
待验证50%
10月16日
微调过程中过度依赖微调部分,可能正是罕见类能力被遮蔽的根源;将模型计算适度导向预训练组件,或许是一条更稳健的微调路线。
已验证75%