LLM写稿很便宜，核查却更贵：一个内容站的验证实践

让模型写出一页内容是最简单的一步。给它一个主题和一些来源，它就能交出读起来很顺畅的文字。如果这就是全部工作，一个参考资料站一个周末就能做完。

开发者今年做了一个西班牙政治测试站，围绕它建了一套参考页面：每位思想家的介绍、一份术语表，以及比较各党派两两之间的文章。大部分文本由 AI agent 起草。起草很快，真正耗时的是核查。以下是他总结出的教训。

rss source: Checking what an LLM writes costs more than the writing

模型会“凭记忆”引用

如果让模型读一页内容然后引用它，模型会先读页面，然后凭记忆写出引文。结果看起来正确，但往往不是原文，有时甚至是翻译过的。

作者做过几次测量。让一个小模型做逐字引用，只有 24% 到 35% 的引文能通过源文本校验。在早期写的术语表中，285 条引文里有 141 条根本不在其声明的来源中。有一条条目把所有引文都翻译成了西班牙语，而其来源分别是英语、法语和俄语，于是十条引文里九条不合格。

这意味着，互联网上大量 LLM 生成的内容是完全错误的。

这里说的“凭记忆”引用，指的是 Transformer 类模型在生成文本时按 token 概率逐词预测，而不会像数据库那样精确检索原文。它在训练中见过海量文本，能复现出与原文高度相似的片段，但具体字句会被内部语言模型的统计偏好“平滑”掉，出现无意识的替换或翻译。因此它的输出在语义上往往可信，字面上却不可靠——这也是为什么这类系统在引用问题上属于“高置信度但低准确率”的典型：模型自己并不知道哪些是原文、哪些是重构。解决思路是把检索与生成分开，让负责生成的模型只处理已经拿到的文件内容，把逐字引用交给检索或字符串匹配脚本完成。

先下载来源，再让模型动笔

解决办法是把“引用”这件事从模型手中拿走：

在任何模型看到来源之前，先用 curl 把源文件下载下来。
检查每个文件确实如它声称的那样。作者曾把一本芬兰诗集当成康德的启蒙运动论文保存，还有三个 PDF 全是同一个 25 KB 的错误页。
把文件交给写作者，并告诉它不要引用任何不在文件中的内容。对于研究性论断，模型完全不引用：它返回论断、URL 和几个关键词，再由脚本从下载好的 HTML 中挑出句子。

这样一来，39 条研究引文中有 36 条逐字正确，思想家传记的引文有 95% 能通过来源校验。

在信任一个校验器之前，先用你确认正确的引文测试它。

当引文并不支持论断

逐字引文只能证明这段文字在来源里，不能证明它支持旁边的句子。

“PP 在 2023 年支持了 Sánchez 的授权”这个论断是假的，但它却配着一条完美的逐字引文——一句关于 Sánchez 被任命的话。于是需要第二道检查：一个充当裁判的模型，逐条阅读论断和引文，判断引文是否支撑论断。部分匹配只有在裁判把论断改写成引文确实支持的说法后才能保留。

后来作者用 agent 对 26 个风险最高的页面做了一轮审查。它抓到了脚本抓不到的问题：一页把一桩法庭案件和一项定罪归到一位在世人物头上却没有来源；一条关于普京的引文来源却是关于肯尼迪的；一段被归给哈耶克的论证其实是米塞斯的。审查者也会过度报告，所以每个发现都会交给第二个 agent 去反驳，45% 的发现被推翻。

“引文支撑论断”这件事在信息检索和事实核查领域通常被称为 entailment（蕴含）判断：不仅要看句子是否出现在来源中，还要看来源是否在语义上保证了论断为真。这里用模型做裁判，本质是让一个 LLM 完成文本蕴含分类任务：输入前提（引文）与假设（论断），输出支持、部分支持或无关。这类判断比逐字引用难得多，因为需要理解否定、时间、条件、主语指代等细微差别，模型容易把“提到同一人物或事件”误判成“支持该说法”。引入第二个 agent 去反驳，是为了降低单一裁判的确认偏差——两个模型相互挑错，可以过滤掉相当比例的表面匹配。

措辞与语境

有些修改与事实无关。关于一位具名记者的一句话里，“捏造”被改成了“开始”；“反对某事的最佳弹药”被改成了“标准参考”。

没有检查能标记出这类问题。必须由活人来读。

开始做内容站之前要准备什么

要为核查留出预算，因为写作现在是便宜的部分。不要让模型生产你无法核查的内容，给它文件而不是 URL，让代码来提取引文。

作者还建议在信任校验器之前先测试它，并保留一个阈值。

在很多情况下，如果一条条目验证通过的引文少于四条，宁可选择更短的手写版本。

搜索引擎越来越能区分单薄的生成内容，所以这也影响排名——如果站点基本是低质的 AI 生成内容，Google 可能会标记它。

作者说，下次再做内容站，校验器会是他写的第一个东西。事实上，站点的大部分内容都经过大量审查，或者干脆是手写的。

搜索引擎对 AI 生成内容的处理已经形成一套相对成熟的质量评估思路。Google 的搜索质量指南强调 E-E-A-T，即经验、专业、权威与可信度，并明确把大规模、缺乏原创价值的自动生成内容视为低质量信号。排名系统不会因为文本“由 AI 写成”而直接惩罚，但会识别出内容是否提供独特信息、是否可核查、是否由有真实经验的主体维护。因此，一个以参考页面为主的内容站，如果能做到引文可追溯、来源清晰、人工审读痕迹明显，仍然可以在搜索结果中取得较好位置；反之，如果站点主要是低核查率的生成文本，被降权的风险会显著上升。