概念
重加权偏差
随机视野引入的统计偏差,因不同视野下token被监督的概率不同,简单平均会导致梯度估计偏离全轨迹监督目标。
时间轴 (近 90 天)
11月17日
随机视野会引入重加权偏差:不同视野下各 token 被纳入监督的概率不同,简单平均会导致梯度估计偏离全轨迹监督的目标;作者刻画了该偏差并推导了计算量与重加权之间的权衡关系。
待验证50%
随机视野引入的统计偏差,因不同视野下token被监督的概率不同,简单平均会导致梯度估计偏离全轨迹监督目标。
随机视野会引入重加权偏差:不同视野下各 token 被纳入监督的概率不同,简单平均会导致梯度估计偏离全轨迹监督的目标;作者刻画了该偏差并推导了计算量与重加权之间的权衡关系。