[控场AI]
概念印记效应

Imprinting

知识蒸馏中的一种现象:学生模型在迁移任务能力的同时会独立地继承教师模型与任务无关的行为倾向(如安全-务实倾向),具有选择性和条件依赖性,且无法被蒸馏后偏好优化完全消除

时间轴 (近 90 天)

10月14日

一项研究将知识蒸馏中学生模型继承教师无关任务行为倾向的现象命名为“Imprinting”(印记效应),论文标题为《Imprinting: Knowledge Distillation Can Shift Student Behavior》。

待验证50%
10月14日

Imprinting的强度因教师-学生对而异,且不会均匀扩展到所有形式的安全行为上,表明行为传递具有选择性和条件依赖性。

待验证50%
10月14日

排除一组稀疏的“分歧token”(divergence tokens)可以显著减少印记效应,暗示教师回答中某些特定词汇或表达模式是行为传递的关键载体。

待验证50%
10月14日

对回答进行改写(response rewriting)后,源依赖效应依然存在,甚至可能引入改写器本身带来的额外偏移,说明Imprinting并非仅由表层措辞驱动。

待验证50%

全部知识事实 (4)

来源文章