LLM标注审计：定义、标签名还是演示在主导模型判断？

大语言模型正越来越多地被用于社会科学文本的标注，但高准确率并不等于模型真的在遵循研究者提供的类别定义。一篇新论文通过反事实审计方法揭示了一个被忽视的问题：模型的预测可能更多反映的是对类别标签的先前关联或标注演示的记忆，而非对定义的理解。

高准确率背后的归因谜题

研究者的担忧很直接：如果模型只是记住了数据集原有的标签映射，那么即使它在测试集上表现优异，也无法证明它能将定义泛化到新场景。为此，论文提出了一种反事实审计——在输出标签之间重新分配定义，观察模型是跟随新定义，还是坚持数据集的原始映射。

这个设计巧妙地分离了两个通常被混在一起的因素：对定义的遵循，与对标签-示例关联的依赖。

反事实审计（counterfactual audit）是一种因果推断式的评估方法，其核心思想是人为干预某个关键变量（此处为“标签与定义的对应关系”），观察模型输出是否随干预而改变。在LLM标注场景中，研究者将原本的标签定义打乱重配——例如把“经济议题”的定义挂到“社会议题”标签下——然后检验模型是跟随新定义输出，还是沿用训练数据中的原始标签映射。若模型坚持原始映射，则说明其预测主要依赖对标签-示例共现的记忆，而非对定义语义的理解。这种方法能有效分离“定义遵循”与“标签关联记忆”两个混杂因素，为标注质量提供比准确率更深入的诊断信号。

模型很少遵循重新分配的定义

在三个政治文本数据集上，实验结果显示模型很少跟随重新分配的定义。更值得警惕的是，标准的微调会强化原始映射，却并未可靠地提升对定义的遵循程度。

这意味着，研究者在微调模型后看到的准确率提升，可能来自模型对数据集标签分布的拟合，而非对类别定义的理解。换句话说，准确率指标本身无法区分“理解了定义”和“记住了答案”。

检索增强标注：邻域标签才是主要信号

论文接着研究了检索增强的标注方式。一个反直觉的发现是：检索最近的训练示例，整体效果优于在每个类别内部分别检索示例，尽管前者使用的演示数量更少。

在两项有显著提升的任务上，直接的k近邻分类就能恢复74%到93%的改进幅度，说明邻域标签提供了大部分的预测信号。检索增强带来的增益，很大程度上可以归因于最近邻的标签信息，而非模型对定义的理解加深。

k近邻分类（k-nearest neighbors, kNN）是一种非参数分类方法：对于待标注文本，在训练集中找出嵌入空间里最接近的k个示例，再根据这些邻居的标签投票决定预测结果。在检索增强标注的语境下，kNN分类可视为一个“纯记忆”基线——它完全不使用研究者提供的类别定义，仅依赖最近邻示例的标签。因此，当论文报告“直接的kNN分类就能恢复74%到93%的改进幅度”时，实际上是在量化检索增强的增益中有多大比例可归因于邻域标签信号，而非模型对定义的理解。这一对比为判断检索增强是否真正提升了定义遵循度提供了关键参照。

重标注演示能改变预测方向

实验还发现，对固定演示进行重标注可以重定向模型的预测；而当演示与重新分配的定义对齐时，模型对新映射的遵循程度会显著增加。

这指向一个实践层面的结论：定义、类别标签、演示、检索和训练数据需要被联合对齐与验证。仅仅追求准确率提升的干预措施，未必能提高对类别定义（codebook）的遵循程度。

演示重标注（demonstration relabeling）指保持上下文示例的文本不变，仅修改其对应的标签，观察模型预测是否随之改变。这一操作直接检验模型对“示例-标签”关联的敏感度：若重标注后模型预测方向发生翻转，说明模型高度依赖演示中的标签信号，而非仅凭文本语义或定义推断。在论文中，当演示被重标注为与重新分配的定义一致时，模型对新映射的遵循程度显著提升，表明演示与定义的对齐可以部分矫正模型对原始标签映射的固守。这为实践者提供了可操作的干预手段：通过精心构造与定义一致的演示，引导模型更忠实地应用研究者提供的类别体系。

对社会科学标注实践的启示

这项审计工作提醒使用LLM做文本标注的研究者，准确率不应是唯一的质量指标。当模型的预测可能由标签名称的语义关联或演示的邻近性驱动时，研究者需要额外的审计手段来确认模型是否真的在应用自己提供的定义。

反事实重分配定义的方法提供了一个可操作的检验思路：如果模型在定义被交换后依然输出原有标签，那么它的“高准确率”就值得打上问号。