概念Out-of-Distribution Benchmark / OOD Benchmark
分布外基准
分布外基准是一种评估方法,要求模型泛化到训练分布未见的场景与交互组合,用于暴露模型真实能力而非记忆统计规律。
时间轴 (近 90 天)
10月12日
在训练分布内评估容易高估模型能力,分布外基准要求模型泛化到未见过的场景与交互组合,更能暴露‘看起来对’与‘物理上对’之间的落差。
待验证50%
分布外基准是一种评估方法,要求模型泛化到训练分布未见的场景与交互组合,用于暴露模型真实能力而非记忆统计规律。
在训练分布内评估容易高估模型能力,分布外基准要求模型泛化到未见过的场景与交互组合,更能暴露‘看起来对’与‘物理上对’之间的落差。