[控场AI]
概念

重加权偏差

随机视野引入的统计偏差,因不同视野下token被监督的概率不同,简单平均会导致梯度估计偏离全轨迹监督目标。

时间轴 (近 90 天)

11月17日

随机视野会引入重加权偏差:不同视野下各 token 被纳入监督的概率不同,简单平均会导致梯度估计偏离全轨迹监督的目标;作者刻画了该偏差并推导了计算量与重加权之间的权衡关系。

待验证50%

全部知识事实 (1)

来源文章