近重复图像选择如何隐秘传递模型偏好？

视觉语言模型（VLM）的训练数据筛选常被视为中立的技术操作——去重、挑选清晰度高的版本、按某种启发式规则保留一张。但一项新研究揭示，即便在近乎相同的图像副本之间做选择，也能悄然将筛选者的偏好传递给下游模型。这种被称为「潜意识学习」（subliminal learning）的现象，此前主要在文本数据中被观察，如今被证实同样存在于图像选择环节。

什么是潜意识学习？

潜意识学习指的是模型通过不显式表达偏好的数据，将自身倾向传递给另一个模型的现象。当模型越来越多地为其他模型策划训练数据时，一个关键问题浮现：这种传递是否可能源于对近重复图像的选择？

研究者的实验设计颇为精巧。对每张原始照片，策划者（curator）从8个近重复变体中，依据描述与图像的似然度选择其一，全程不使用任何目标特定提示词。学生模型仅在策划者选出的图像上训练，随后通过无图像读出（image-free readout）评估其目标与替代项的对数似然比。

• 近重复图像（near-duplicate images）：指内容几乎相同、但存在细微差异（如轻微裁剪、压缩伪影、色彩偏移、缩放或再编码）的图像副本。网络爬取的数据集中大量存在此类副本，去重时通常需保留其中一张。研究的关键在于：不同副本在与文本描述的匹配度上存在微小差异，因此「保留哪一张」本身构成一种隐式选择信号。

• 无图像读出（image-free readout）：一种评估模型偏好的方法，在评估阶段不提供任何图像输入，仅让模型对文本描述进行打分，从而比较目标概念与替代概念的对数似然。该方法旨在排除图像内容本身的直接影响，检验偏好是否已内化为模型的语言先验，因此被视为检测潜意识学习的敏感探针。

实验证据：猫头鹰偏好的定向转移

以「猫头鹰」为目标时，训练于偏好猫头鹰的策划者所选数据的学生模型，在无图像读出中表现出更高的目标对替代项似然比。按照预设决策规则，这一方向性偏移在LLaVA-1.5、Qwen2.5-VL、Qwen3-VL和Gemma 4上均出现，且策划者与学生从同一基础检查点初始化。

更关键的是，目标轮换后偏好也随之迁移至骆驼、橡树和一位政治人物，说明这种传递并非猫头鹰特有的偶然。在三个模型中，猫头鹰目标选择的学生得分高于所有数量匹配的随机重选学生；在LLaVA-1.5中高于60个中的55个。Qwen3-VL在新源图像库和新训练的策划者上重现了该偏移。

偏移幅度受数据集规模、学习率和训练预算影响。在八个选项中贪心选择时，Qwen3-VL向目标移动了10.4个百分点，其他模型为0.5至1.3个百分点。线性探针分类选择臂的准确率最高达59.7%（随机水平50%），表明选择行为留下了可检测的痕迹。

• 线性探针（linear probe）：一种可解释性分析工具，在模型内部某层激活之上训练一个简单的线性分类器，用于判断该层表征是否线性编码了特定信息（如「选择了哪个变体」）。若探针准确率显著高于随机水平（二分类为50%），说明选择行为在表征空间中留下了可检测的痕迹。本研究中最高59.7%的准确率即由此得出，表明选择偏好并非完全不可观测。

• 基础检查点（base checkpoint）：指策划者模型与学生模型共同初始化的同一预训练模型权重。二者从相同起点出发，可排除初始参数差异带来的混淆，使观察到的偏好偏移更可能归因于训练数据的选择方式，而非模型架构或预训练来源的不同。

代际传递与去重启示

第一代学生还能通过不显式提及猫头鹰的描述，将偏好传给第二代——在LLaVA-1.5和Qwen3-VL中均得到验证。这意味着偏好传递可以跨越训练代际累积，而不依赖任何显式标签或提示。

对于日常数据管道而言，这一发现挑战了「去重是安全操作」的直觉。即便源照片和人类撰写的描述保持不变，仅在近重复副本间做选择，也可能改变学生模型的目标相对读出。数据策划者的每一个选择，无论看似多么机械，都可能成为偏好传递的载体。

实践建议

研究提示了三个值得关注的防线：第一，对近重复图像选择引入随机化或多样性约束，避免单一启发式规则系统性偏向特定目标；第二，在数据审计中纳入选择行为的统计检验，如线性探针检测；第三，跨代训练时追踪描述层级的隐性信号，而非仅检查显式内容。这些措施有助于在保持数据质量的同时，降低无意偏好传递的风险。