PORT
PORT是一种Token级重加权的偏好优化框架,利用Token对数概率的经验累积分布函数(CDF)作为梯度范数惩罚的前向代理,在噪声偏好数据下实现细粒度鲁棒对齐。
时间轴 (近 90 天)
研究者提出PORT(Preference Optimization via Robust Token-level Reweighting),一个在噪声偏好下实现细粒度鲁棒对齐的框架。
PORT的核心洞察是:噪声偏好标签带来的梯度偏差可以分解到每个Token上。
PORT使用Token对数概率的经验累积分布函数(CDF)来执行Token级重加权。
PORT的CDF加权设计构成了对梯度范数惩罚的一种高效前向传播代理,不需要额外的反向传播计算。
PORT通过最小化偏差项的上界,降低了噪声偏好标签带来的梯度偏差。
在多种噪声设置下进行的广泛实验表明,PORT一致地提升了鲁棒性,并优于现有的序列级基线方法。
PORT的代码已在GitHub上开源(osu-srml/PORT)。
PORT的前向传播-only特性意味着它不会显著增加训练成本,这使其在工业级偏好优化任务中具有较好的落地潜力。
全部知识事实 (8)
研究者提出PORT(Preference Optimization via Robust Token-level Reweighting),一个在噪声偏好下实现细粒度鲁棒对齐的框架。
50%待验证PORT的核心洞察是:噪声偏好标签带来的梯度偏差可以分解到每个Token上。
50%待验证PORT使用Token对数概率的经验累积分布函数(CDF)来执行Token级重加权。
50%待验证PORT的CDF加权设计构成了对梯度范数惩罚的一种高效前向传播代理,不需要额外的反向传播计算。
50%待验证PORT通过最小化偏差项的上界,降低了噪声偏好标签带来的梯度偏差。
50%待验证在多种噪声设置下进行的广泛实验表明,PORT一致地提升了鲁棒性,并优于现有的序列级基线方法。
50%待验证PORT的代码已在GitHub上开源(osu-srml/PORT)。
50%待验证PORT的前向传播-only特性意味着它不会显著增加训练成本,这使其在工业级偏好优化任务中具有较好的落地潜力。
50%