当AI论文与维基百科被"投毒"：知识守门人的攻防战

AI生成内容正在从社交媒体蔓延到人类知识体系的根基。IEEE Spectrum的一篇文章披露了一个令人不安的现实：学术出版商和维基百科的志愿者，正试图用人力对抗一场几乎不可能赢的"投毒"战争。

一篇论文的诞生：按下"运行实验"和"写论文"

应用数学博士、自由撰稿人Benjamin Skuse做了一次实验：他用AI生成论文，然后尝试让其通过IEEE的防御机制。结果出乎意料地顺利。

据IEEE Spectrum特约编辑Eliza Strickland描述，Skuse只需"按下'运行实验'和'写论文'，然后他什么都没做，就直接把它丢进了出版引擎的入口"。生成一篇看起来像模像样、"差不多是科学"的论文，门槛低得惊人。

这并非孤例。作者在社交媒体上的信息流里，大约一半内容充斥着被敏锐用户识破的AI垃圾内容，有人无意传播后尴尬，也有人故意分享以制造混乱。

论文工厂（Paper Mill）与学术投毒

所谓“论文工厂”，原指批量炮制、代写代发学术论文的灰色产业链。AI的介入让这一模式从“人肉代写”升级为“模型量产”：攻击者可以在数小时内生成大量结构完整、引用看似合理、数据图表俱全的稿件，以极低成本冲击期刊投稿系统。这种行为常被类比为“投毒”——不是窃取数据，而是向知识库注入不可靠内容，污染检索结果与后续研究的引用链。对出版商而言，真正的威胁不只是单篇假论文被接收，而是当虚假文献累积到一定规模后，综述、元分析和自动化知识图谱都会把噪声当作事实基础，清理成本呈指数上升。

"幻觉"六年之后：信任但必须验证

从GPT-3时代开始，"幻觉"一词进入AI词汇表。六年过去，多个聊天机器人迭代了若干版本，作者的态度依然谨慎：Claude或Gemini经常能帮上忙，但答案仍然不能直接信任。

"信任但验证，而且你必须验证。"这条个人准则放到科学记录完整性的尺度上，就是学术出版商面临的真实挑战。

目前，IEEE的人工评审流程加上研究诚信检查程序，尚能跟上使用免费工具的造假者步伐。但更先进的LLM已经不再犯免费版本那些低级错误——出版商被锁进了一场军备竞赛：一边是越来越逼真的垃圾内容，一边是旨在检测它的系统。

幻觉（Hallucination）与检测的军备竞赛

“幻觉”指大语言模型生成看似流畅、实则与事实不符或凭空捏造的内容，包括虚构引用、错误数据和不存在的实验结果。早期模型常犯语法级或事实级的低级错误，较容易被人工或统计检测识别；但随着模型规模与对齐技术提升，新一代LLM的输出在句式、术语和论证结构上越来越接近人类写作，检测难度显著增加。学界目前主要依靠水印、困惑度分析、元数据溯源和人工复核等手段，但每种方法都存在误判与规避空间。这正是文章所说“军备竞赛”的技术根源：检测器依赖模型留下的统计痕迹，而模型迭代会不断削弱这些痕迹。

维基百科：更少的人，更少的工具

商业出版商不是唯一在坚守阵地的机构。作为全球人类生成知识的仓储，维基百科同样在抵抗。

Strickland采访了WikiProject AI Cleanup创始成员Ellia Lebleu。这个志愿者项目致力于检测并删除平台上的AI生成材料。他们面对的是和商业出版商相同的问题，但人手更少、工具更少。

"维基百科以人类生成信息的仓储而闻名，他们想守住这一点，"Strickland说，"但谁知道他们能守多久。"

WikiProject AI Cleanup 与维基百科的可验证性原则

WikiProject AI Cleanup 是维基百科志愿者自发组成的协作项目，专门巡查、标记和清理由AI生成或大量改写的条目内容。维基百科的核心方针之一是可验证性：内容必须能追溯到可靠来源，而非依赖编者个人判断。AI生成文本恰好绕开了这一防线——它可能编造来源、拼凑引用，或把真实来源与错误陈述嫁接在一起，使巡查者必须逐条核对。志愿者通常借助编辑历史模式、语言风格异常和来源链接失效等线索进行识别，但面对海量编辑，人手和自动化工具都严重不足，这使得维基百科在AI内容治理上比商业出版商更加被动。

当共享现实开始瓦解

如果科学记录不再可信、关于世界的基本事实不再准确，我们对"什么是真实的"的理解就会滑向不确定性。这对量子科学家也许有趣，对在无共享现实的信息环境中牟利的骗子更是福音。

但不确定性最终侵蚀的是那些本应 curation 人类知识 corpus、推动科技进步造福人类的机构的信任基础。

Strickland提出了一个更尖锐的设想：在一个AI做科学、AI写论文的世界里，人类是否信任输出可能根本不重要。"想到某个时刻AI会为其他AI写作，不觉得很疯狂吗？我们只会被排除在循环之外。"

这场守门战的结局尚未明朗。唯一确定的是，验证的成本正在从机构转移到每一个读者身上。

共享现实（Shared Reality）与知识策展

“共享现实”指社会成员对基本事实和公共信息形成的最低限度共识，是公共讨论、科学协作和制度信任的前提。当知识生产与策展环节被低成本、高仿真的AI内容持续渗透，共享现实的根基就被削弱：人们不再能就“什么是已证实的事实”达成一致，转而依赖各自的信息茧房。文章所说的“策展”（curation）正是指机构对知识进行筛选、核验和编排的职能——学术出版商、百科全书和新闻媒体都承担这一角色。一旦这种职能因验证成本过高而失灵，信任危机不会停留在个别条目或论文上，而会扩散到整个知识基础设施。