概念Decoding Adjustment
解码调整
在生成阶段修改token选择策略的知识提取增强技术,不触碰模型权重或内部表示,代表性方法有对比解码和DoLa。
时间轴 (近 90 天)
10月15日
知识提取增强(KEE)技术包括激活引导、解码调整和提示工程三类,它们会修改推理过程,可能强化已有预测,也可能让不易触达的答案浮现出来。
待验证50%
10月15日
解码调整不触碰模型权重或内部表示,而是在生成阶段修改token选择策略;对比解码会同时运行强模型和弱模型,取两者对数概率之差作为下一token的评分;DoLa则在单模型内部对比不同层的输出分布。
待验证50%