[控场AI]
概念margin-to-spread ratio

边际-散布比

一种衡量模型输出几何性质的指标,定义为正确logit相对于错误logit的领先程度与错误logit分散程度之比,用于解释和预测不同优化器下的微调性能差异。

时间轴 (近 90 天)

11月3日

研究者引入边际-散布比来解释微调性能的逆转现象。

待验证50%
11月3日

在语言模型中,小数据预算下Muon具有更大的边际-散布比,而大数据预算下AdamW更大。

待验证50%
11月3日

边际-散布比可作为诊断工具,用于预测微调性能。

待验证50%

全部知识事实 (3)

来源文章