对比解码
一种解码策略,通过同时运行强模型与弱模型(或同一模型在不同提示下),将两者输出的logit相减,放大强模型相对于弱模型的独特倾向,常用于提升生成质量或控制输出风格。
时间轴 (近 90 天)
对比解码(Contrastive Decoding)是一种在解码阶段调整 token 概率的通用技术,通过计算专家分布与业余分布的差值并做温度缩放或截断来引导生成,无需额外训练。
解码调整不触碰模型权重或内部表示,而是在生成阶段修改token选择策略;对比解码会同时运行强模型和弱模型,取两者对数概率之差作为下一token的评分;DoLa则在单模型内部对比不同层的输出分布。
DoubtLess 的核心机制是:让一个辅助小模型分别以简洁和冗长两种提示读取大模型已生成的 CoT,将两种提示下 logit 向量之差乘以强度系数后加到主模型每一步解码的 logits 上。
对比解码的核心思想是同时运行强模型和弱模型,将两者输出的 logit 相减以放大强模型相对于弱模型的独特倾向。
全部知识事实 (4)
对比解码(Contrastive Decoding)是一种在解码阶段调整 token 概率的通用技术,通过计算专家分布与业余分布的差值并做温度缩放或截断来引导生成,无需额外训练。
50%待验证解码调整不触碰模型权重或内部表示,而是在生成阶段修改token选择策略;对比解码会同时运行强模型和弱模型,取两者对数概率之差作为下一token的评分;DoLa则在单模型内部对比不同层的输出分布。
50%待验证DoubtLess 的核心机制是:让一个辅助小模型分别以简洁和冗长两种提示读取大模型已生成的 CoT,将两种提示下 logit 向量之差乘以强度系数后加到主模型每一步解码的 logits 上。
50%待验证对比解码的核心思想是同时运行强模型和弱模型,将两者输出的 logit 相减以放大强模型相对于弱模型的独特倾向。
50%