[控场AI]
概念spectrum drift

谱漂移

衡量微调前后权重矩阵奇异值谱变化的指标,用于分析微调对模型表示结构的影响程度。

核心事实

时间轴 (近 90 天)

11月10日

在稳定秩、谱漂移和主权重重叠三个几何指标上,Deletion Tuning 比 LoRA 和随机稀疏微调更接近全量微调。

待验证50%
11月10日

研究使用稳定秩、谱漂移和主权重重叠三个指标分析权重变化的几何性质。

待验证50%
10月16日

微调过程中过度依赖微调部分,可能正是罕见类能力被遮蔽的根源;将模型计算适度导向预训练组件,或许是一条更稳健的微调路线。

已验证75%

全部知识事实 (3)

来源文章