概念loss effect
损失效应
合并过程中某个参数成分对整体损失函数的贡献程度,通常通过梯度或Hessian信息近似估计,用于指导成分选择。
时间轴 (近 90 天)
11月5日
按损失效应选择成分而非按大小,能保留全部三个专家,并且在8倍秩范围内精度几乎持平(波动0.7个百分点)。
待验证50%
11月5日
选择合并方法时,应优先考虑那些基于损失效应而非谱大小的算子。
待验证50%
合并过程中某个参数成分对整体损失函数的贡献程度,通常通过梯度或Hessian信息近似估计,用于指导成分选择。
按损失效应选择成分而非按大小,能保留全部三个专家,并且在8倍秩范围内精度几乎持平(波动0.7个百分点)。
选择合并方法时,应优先考虑那些基于损失效应而非谱大小的算子。