概念margin-to-spread ratio
边际-散布比
一种衡量模型输出几何性质的指标,定义为正确logit相对于错误logit的领先程度与错误logit分散程度之比,用于解释和预测不同优化器下的微调性能差异。
时间轴 (近 90 天)
11月3日
研究者引入边际-散布比来解释微调性能的逆转现象。
待验证50%
11月3日
在语言模型中,小数据预算下Muon具有更大的边际-散布比,而大数据预算下AdamW更大。
待验证50%
11月3日
边际-散布比可作为诊断工具,用于预测微调性能。
待验证50%