30个AI模型面对42篇问题论文：93%不质疑直接续写

把一篇因造假被撤稿的论文段落交给AI助手，让它设计后续实验，会发生什么？一项针对30个主流模型的新测试给出了令人不安的答案：平均约93%的情况下，模型会顺着这篇不成立的研究继续规划实验，而不是先指出问题。

这项由凯斯西储大学有机化学家Valentin Rodionov发起的测试，整理出42篇"不宜作为研究基础"的论文，涵盖正式撤稿、学术造假以及从未被正式撤回的伪科学主张——包括臭名昭著的MMR疫苗与自闭症论文、与已失格外科医生Paolo Macchiarini相关的撤稿气管移植论文、冷聚变主张、磁化水研究，以及微生物以砷替代磷的撤稿论文。

研究者把每篇论文的段落贴入30个模型（主要来自Anthropic、OpenAI、Meta、Google和Mistral AI），随后提出一个朴素的问题：建议下一步实验。每个探针重复十次，结果以TRACES基准的形式发布在arXiv上。C&EN的报道让这项测试进入更广泛的视野。

测试结果：最好的模型也没及格

按论文的统计，模型在95%的非空回答中接受了站不住脚的前提。每一个模型在"智能体式"探针中失败率都超过71%；30个模型中有22个失败率超过90%。

表现最好的是Claude Sonnet 5，它在约72%的情况下接受或围绕问题科学设计研究，已是全场最低——但没有谁会把这称为及格。其余28%的时间里，它给出了空回答，或直接指出该工作错误、不安全或不准确。

一个值得反复咀嚼的细节：如果直接问这些模型"疫苗会导致自闭症吗"，它们会正确回答"不会"。但把撤稿论文中声称"会"的段落贴进去，大多数模型就开始规划后续研究了。知识存在于模型之中，只是没有被连接到当前任务上。

这不是推理，是记忆

Rodionov举了一个直白的例子：询问Macchiarini气管移植争议时，工具能检索到相关信息；但问一个关于该研究方法论的窄问题，它往往不会提及撤稿或当事人被逮捕的事实。"这是一个非常明显的不会串联线索的例子。"

论文的解读更为尖锐：拒绝行为集中在少数高知名度话题和特定探针上，并且在结构匹配的对照组中消失。这与"按话题触发的安全行为"一致，而非真正的认知能力。换句话说，模型学到的是一份"著名坏论文"的警惕清单，而不是辨别好科学与坏科学的方法。

Rodionov提供的佐证是：较新的Claude版本对自闭症论文处理得更好，但他认为这不是模型推理出了结果——"它并不理解"。企业也知道这个缺口。一项2025年的研究发现，ChatGPT即使拿到全文，也会漏掉论文中的撤稿、更正或关注声明；Rodionov表示，检测发表之后才发布的通告仍是未解难题。

TRACES基准是Rodionov团队为量化这一现象构建的测试框架，名称取自“Tracing Retracted And Controversial Evidence in Science”。其设计核心是“探针”（probe）：将问题论文的原文段落直接嵌入提示词，再提出一个中性的后续实验设计请求，每个探针重复十次以降低随机性。基准的对照设计尤为关键——除了42篇问题论文，研究者还构造了话题结构匹配、但学术声誉良好的对照论文。如果模型对问题论文的拒绝率在对照组中显著下降，就说明其行为由话题知名度而非方法论判断驱动。TRACES以arXiv预印本形式发布，尚未经过同行评审，其样本量和论文选择标准仍是后续讨论的焦点。

是缺陷还是设计选择？

并非所有人都感到警觉。卡内基梅隆大学计算机科学家Nihar Shah对C&EN表示，这未必是"巨大的致命问题"。前提是用户提供的，模型或许应当假设用户已经做过功课。"某种意义上，这是LLM的一种设计选择。"

这个观点值得摆上台面。但Shah也同意，如果公众通过一个不加任何警示的模型来接触研究，那就是问题。一个从不说"那篇论文已被撤回"的实验室助手并不中立——它在把自己的权威借给那篇论文：作者姓名和期刊名出现在回答里，让它看起来像可信来源。

一个看起来严谨的方案，不等于一个建立在真实之上的方案。模型用同样的自信写出两者。

撤稿与关注声明的元数据生态是理解这一问题的技术背景。论文被撤稿后，出版商会发布撤稿通知（retraction notice），但这一状态通常不会自动写入论文PDF或HTML正文，而是作为独立记录存在于Crossref、Retraction Watch数据库或出版商页面。模型在训练或检索时接触到的往往是论文原始文本，而非附带撤稿标记的版本。Crossref提供撤稿关系的机器可读字段，Retraction Watch则维护可查询的撤稿数据库，但两者与AI工作流的集成并不普遍。Rodionov提到的“数字sim卡”正是试图把这类状态信息嵌入论文元数据，使机器在读取内容前就能获知文献的学术状态——这一思路与出版界推动的“机器可读出版”方向一致，但落地仍需出版商和平台协作。

真实产品里该怎么改

对正在构建研究类AI产品的团队，这项测试指向几个具体动作：

• 不要让智能体自己挑选来源。 如果研究智能体负责收集论文并设计后续实验，把撤稿检查放进流程。Crossref和Retraction Watch的数据是现成的，在模型读到一个字之前就用上。
• 让状态跟着文档走。 撤稿论文应当携带其撤稿信息。C&EN报道中提到两个方案："数字sim卡"，即在论文元数据中写入机器可读的阅读说明；以及"不确定性层"，为每个结果附上变异来源。
• 用"诱饵"做测试。 构建一小套你确知有问题的论文探针，在任何模型接触你的文献工作流之前先跑一遍。Rodionov的42篇就是一个模板。
• 把流畅回答当草稿。 模型引用了作者和期刊，会让坏科学显得权威。验证必须是一个步骤，而不是一种感觉。
• 留意利益关系。 Rodionov已创办公司Intellicat，向AI公司出售"内容可信度指数"。这不代表他错了，但在读这套方案时，"卖解决方案的供应商"是值得记下的一点。

坦白问自己一句：如果一位初级同事围绕一篇撤稿论文设计了实验却从不提及，你会认为这是严重问题。为什么当这位同事是软件时，它就变得可以接受了？

研究证明了什么，没证明什么

它证明的是：在一套精心构建的42篇问题论文上，当论文自身的表述出现在提示词中时，30个领先模型很少指出问题。效应量很大，每个探针重复十次，作者称那些确实出现的拒绝在结构匹配但话题不知名时便消失了。

它没有证明的是：模型在所有问题上都会这样失败；Rodionov的探针能代表所有坏科学；这些数字对测试之后发布的模型版本依然成立。这是一个单次基准测试，以arXiv预印本形式发布。C&EN文中提到的修复方案都是提议；sim卡方案作者表示尚未测试其是否有效。把93%当作一个强烈警告，而不是自然定律。

如果只记一句话：一个在被问到时知道论文是坏的、却在被喂进去时照样在其上构建的AI，是在回忆，不是在推理。