[控场AI]
概念monotone mapping

单调映射

保持顺序不变的函数变换,将输入按单调关系重新映射为输出。在安全对齐中用于校准评分器的系统性均值偏差,只要求保序性即可对任意保序失真保持不变。

时间轴 (近 90 天)

11月13日

双通道约束GRPO的基础奖励通道保留原始分数用于组内比较,惩罚项和约束估计通过一个在裁判标注训练回复上拟合的单调映射传递,且优势函数中保留乘子,使安全约束能影响梯度更新。

待验证50%
11月13日

单调映射是保持顺序不变函数变换,只要求单调性,因此对评分器的任意保序失真具有不变性;通过在裁判标注的训练回复上拟合来纠正评分器的系统性均值偏差。

待验证50%
11月13日

对评分器施加保序失真后,在每一个随机种子下都复现了预测的控制器状态;结果在另一裁判标签拟合的映射、一个读图裁判以及人工审计下同样成立。

待验证50%

全部知识事实 (3)

来源文章