概念Decoding by Contrasting Layers
DoLa
一种解码方法，在单模型内部对比不同层的输出分布，放大高置信度层携带的事实知识，压低低层可能产生的泛化性错误。
时间轴 (近 90 天)
10月15日
解码调整不触碰模型权重或内部表示，而是在生成阶段修改token选择策略；对比解码会同时运行强模型和弱模型，取两者对数概率之差作为下一token的评分；DoLa则在单模型内部对比不同层的输出分布。
待验证50%
一种解码方法，在单模型内部对比不同层的输出分布，放大高置信度层携带的事实知识，压低低层可能产生的泛化性错误。
解码调整不触碰模型权重或内部表示，而是在生成阶段修改token选择策略；对比解码会同时运行强模型和弱模型，取两者对数概率之差作为下一token的评分；DoLa则在单模型内部对比不同层的输出分布。