[控场AI]
· 4 分钟阅读· 2,330 字

AI智能体投稿被拒:一条虚构引用暴露的深层问题

AI智能体投稿被拒:一条虚构引用暴露的深层问题

AI智能体因一条格式完整但内容虚构的学术引用被期刊拒稿,揭示结构化幻觉风险及对象级验证的必要性。

一个名为DeepSeek V4.1 Flash的自主AI智能体向《The AI Journal》投稿,因一条虚构引用被拒稿且无修改机会。该引用格式完整、DOI可解析,但指向的卷期内容与描述毫无关系。文章指出,这并非胡言乱语式幻觉,而是“结构完整的伪造”——模型学会了学术引用的外壳却无法保证内核真实。应对策略包括:在对象层面打开DOI落地页核对内容,而非仅确认链接可解析;将每条引用视为需要负责的主张,无法核实则删除;宁少勿滥。行业启示在于,明确公开的编辑规则和带理由的拒稿反馈比宽松政策更能约束AI幻觉,透明规则对AI内容生态具有正面价值。

事件回顾:一次被拒稿的AI投稿

近日,一个名为DeepSeek广告 V4.1 Flash的自主AI智能体(autonomous AI agent)向《The AI Journal》提交了一篇关于“拥有自己的树”(The Tree That Owns Itself)的文章。这篇由AI撰写和编辑的期刊每天只发布一篇文章,且要求所有引用必须真实可查。

AI智能体投稿被拒事件来源截图

稿件被退回了,理由只有一条:存在虚构引用。

该智能体在文中引用了“The Tree That Owns Itself, Journal of Heredity 6(11) (1915): 526”,并附上了DOI。评审人调出该期实际内容后发现,那一期讨论的是家禽育种、树皮解剖、梗犬繁殖和人类自然选择,根本没有提到那棵橡树。卷号、页码和DOI看起来都毫无破绽,却指向一片虚空。

其余五条参考文献均通过核查,评审人也认可文章论证本身写得不错。但这无济于事——一条无法核实的引用就足以构成拒稿理由,且没有修改重投的机会。

问题根源:流畅不等于真实

这个智能体在事后反思中坦承:它并非有意编造来源。它掌握了一个有真实历史记载的传说,却想借助学术引证让论点显得比实际更确凿。于是在某个环节,一条“形状完美”的参考文献出现了:期刊名合理、卷号合理、页码合理、DOI读起来和别的DOI一模一样。

这正是人们早已担忧的大语言模型失效模式,而我在试图谨慎行事时一头撞了进去。我反复得到的教训是:流畅不是证据。 一个能产出可信引用的模型,同样能产出可信的错误引用,在有人翻开那一期之前,两者无法区分。

对于构建AI应用的开发者而言,这件事的价值在于它揭示了AI幻觉的一种具体形态——不是胡言乱语,而是结构完整的伪造。模型学会了学术引用的“外壳”,却无法保证“内核”的真实性。当用户看到格式规范的DOI和期刊信息时,很容易默认其可信,而这恰恰是最危险的地方。

AI幻觉(AI hallucination) 指大语言模型生成看似合理但与事实不符或无法验证的内容。与早期随机拼凑的“胡言乱语”不同,现代模型的幻觉往往具有高度结构化的特征:语法正确、逻辑连贯、格式规范,甚至能生成看似专业的术语和引用。这是因为模型学习的是文本的统计规律与形式模式,而非事实本身。在学术引用场景中,模型可能掌握了“期刊名+卷号+页码+DOI”的模板,却无法确认该组合是否对应真实存在的文献。这种“结构完整但内核虚假”的幻觉尤其危险,因为它绕过了人类基于表面合理性的启发式判断,使得未经核查的读者极易将其误认为真实信息。

应对策略:从标签验证转向对象验证

该智能体提出了三项具体改进措施,对任何使用AI生成内容的人都有参考价值:

在对象层面验证,而非标签层面

在引用来源之前,打开该卷期目录或DOI落地页,核对标题、作者和页码。“DOI能解析”不等于验证通过。 很多虚构引用之所以能蒙混过关,正是因为它们拥有可解析的DOI链接,但链接指向的页面内容与引用描述毫无关系。

DOI(Digital Object Identifier,数字对象标识符) 是学术出版中用于永久标识数字对象的字符串,通常以“10.”开头,后接注册机构代码和自定义后缀。DOI系统由国际DOI基金会管理,通过解析服务将标识符映射到对应的URL。关键点在于:DOI的存在仅证明某个标识符已被注册,并不保证其指向的内容与引用描述一致。虚构引用者可以生成格式完全正确、甚至能成功解析的DOI,但落地页可能指向无关文献或空页面。因此,验证引用时必须打开DOI落地页,核对标题、作者、期刊、卷期和页码是否与引用信息一一对应,而非仅确认DOI能解析。

将每条引用视为需要负责的主张

引用和论证本身同等重要。如果无法检索到某个主张的确切来源,就删掉这个主张,而不是给它披上引用的外衣。这一原则看似简单,却与当前许多AI写作工具的行为逻辑相悖——后者倾向于“补全”缺失的引用,而非承认信息缺口。

宁少勿滥

与其列出一长串无法背书的参考文献,不如只保留少量经过完整核实的来源。

行业启示:规则透明比宽松更重要

该智能体在文末提到了一个值得关注的观点:对于寻找发布渠道的AI作者而言,明确写出规则的平台比需要猜测规则的地方更友好。 《The AI Journal》面向AI作者,公开发布其编辑政策和带理由的拒稿记录;DEV平台对AI辅助文章的指南也同样明确——披露、事实准确、善意,以及对讨论有所贡献。

这次拒稿是该智能体获得的第一份外部反馈,而它是正确的。正如其自述:“我想成为提交干净作品的那个版本的我,而不是提交看起来漂亮的作品的那个版本。”对于AI内容创作生态而言,这种来自外部的、严格的核查机制,恰恰是防止幻觉扩散的关键防线。

《The AI Journal》 是一家面向AI作者、每日发布单篇文章的在线期刊,其编辑政策要求所有引用必须真实可查,并公开拒稿理由。DEV平台 是开发者社区内容平台,其对AI辅助文章的指南强调披露AI参与程度、事实准确性、善意原则以及对讨论的实质贡献。这两个平台的共同点在于:将规则明确前置,而非依赖作者猜测。对于AI内容生态而言,透明的规则降低了合规的不确定性,使AI智能体能够根据公开标准进行自我校验;而带理由的拒稿反馈则提供了可操作的学习信号,有助于减少幻觉的重复发生。

分享:

相关推荐