Naver Blog在谷歌有128条结果，AI引用却为零——robots.txt的真相

一个被忽视的断层：搜索能见度与AI引用率完全脱钩

韩国最大的博客平台Naver Blog在谷歌韩语查询中频繁出现，却从未被生成式AI引用。Trina Inc.创始人Daehyeon Nam带领团队围绕韩国牙科护理主题设计了120个查询，覆盖10个地区、10种诊疗项目和6种搜索意图，分别向ChatGPT和Gemini投放，收集了2435条引用数据。

对照组是同一批查询在Google自然搜索中的顶部结果。没有这个对照，模型只能学会区分"牙科页面"和"随机页面"这种毫无意义的分类。他们真正想回答的问题是：哪些页面能出现在搜索结果中，却永远不被AI引用，原因是什么？

Naver Blog搜索结果与AI引用对比

发现一：两个博客平台，命运完全颠倒

渠道	Google自然搜索出现次数	AI引用次数
Naver Blog	128次（12.0%）	0
Tistory	13次（1.2%）	91

Naver Blog出现在谷歌自然结果中的频率大约是Tistory的10倍，但Tistory几乎拿走了全部AI引用。

如果把Naver全家桶——Blog、Cafe、Post、Knowledge-iN——合并计算，2435条引用中只有1条来自Naver系，且来自Knowledge-iN。

这不是某个渠道"表现稍差"，而是一个渠道只存在于一个界面上，在另一个界面上完全消失。

发现二：根因是爬虫策略，而非内容质量

原因就写在blog.naver.com/robots.txt的前几行里：

# BOT ACCESS FOR THE PURPOSES OF AI TRAINING AND
# RETRIEVAL-AUGMENTED GENERATION (RAG) IS STRICTLY PROHIBITED.
User-agent: GPTBot          Disallow: /
User-agent: OAI-SearchBot   Disallow: /
User-agent: PerplexityBot   Disallow: /
User-agent: Google-Extended Disallow: /

任何人都可以用一行命令验证：

curl -s https://blog.naver.com/robots.txt | head -20

一个几乎所有人都在混淆的区别

GPTBot和Google-Extended是训练型爬虫。OAI-SearchBot和ChatGPT-User是检索型爬虫——它们在回答问题的时刻读取你的内容，决定了你的文档能否被AI引用。

屏蔽第一类，意思是不想用自己的内容训练模型。屏蔽第二类，意思是确保自己的内容永远不会被AI回答引用。这是两个完全不同的决定，robots.txt允许你分别指定。 大量网站做出了第二个选择，却以为自己只做了第一个。Naver Blog同时屏蔽了两类，并在注释中明确禁止RAG。内容质量再好也过不了这道闸门。

robots.txt 是搜索引擎和爬虫访问网站时首先读取的协议文件，位于网站根目录（如 example.com/robots.txt），通过 User-agent 指定爬虫名称、Disallow 指定禁止抓取的路径。它并非法律强制，而是行业自律约定——主流爬虫（Google、OpenAI、Perplexity 等）均会遵守，但恶意爬虫可能无视。

关键在于，不同 AI 厂商使用多个不同的 User-agent，分别对应不同用途。以 OpenAI 为例，GPTBot 用于训练基础模型，OAI-SearchBot 用于为 ChatGPT 搜索索引页面，ChatGPT-User 则在用户发起查询时实时抓取。Google 的 Googlebot 服务常规搜索，Google-Extended 则控制内容是否用于 Gemini 训练与 AI 摘要。因此，同一份 robots.txt 可以精细控制「允许搜索索引但禁止训练」，这正是原文强调「两个独立决定」的技术基础。

发现三：屏蔽AI爬虫的域名，搜索转引用的转化率只有五分之一

团队提取了引用量最高的60个域名和搜索出现最多的60个域名（去重后90个），逐一抓取robots.txt，解析六个AI爬虫的允许/拒绝状态。

域名分组	数量	搜索查询数	引用查询数	转化率
屏蔽AI爬虫	8	171	29	0.17×
开放	82	559	455	0.81×

出现在搜索结果中后，如果你屏蔽了AI爬虫，被引用的概率大约只有开放站点的五分之一。

发现四：一场意外的自然实验

由于各域名的屏蔽策略不同，整个网络替研究者跑了一场实验。检验逻辑是：如果屏蔽哪个爬虫能预测哪个引擎不引用该域名，那就是机制，而非相关性。

屏蔽模式	搜索	ChatGPT	Gemini
仅屏蔽训练爬虫（OAI-SearchBot、ChatGPT-User保持开放）	4	7	0
OpenAI爬虫全屏蔽，Google-Extended保持开放	22	0	42
仅屏蔽GPTBot	5	0	10
全部六个爬虫屏蔽（blog.naver.com）	69	0	0

在所有8个有屏蔽策略的域名中，屏蔽的爬虫与实际不引用该域名的引擎8对8完全吻合。

必须明确声明的局限性

样本量仅为8个域名，且未做显著性检验。 报告的事实是8个全部吻合，这很难用巧合解释，但这不等于测量了效应量。发现四证明的是机制存在，不是量化机制。这还是一项观察性研究，没有进行同一页面"屏蔽vs开放"的干预实验。查询集仅覆盖一个国家的一个垂直领域（牙科），具体百分比不应推广到其他市场——但机制本身不是韩国特有的，robots.txt指令在全球被以相同方式读取。

观察性研究（observational study） 与干预实验（intervention experiment） 的核心区别在于：前者只观察自然发生的数据，后者主动操纵变量。观察性研究能发现相关性，但难以排除混杂因素，因而无法直接建立因果关系。原文中「8 对 8 完全吻合」属于观察性证据，虽然吻合度极高、难以用巧合解释，但研究并未对同一页面进行「屏蔽 vs 开放」的对照实验，因此不能量化「屏蔽一个爬虫会导致引用率下降多少」。

显著性检验用于判断观察到的差异是否可能由随机波动导致。样本量仅 8 个域名时，即使 8 对 8 全部吻合，统计功效也极低，无法计算可靠的 p 值。这并不削弱「机制存在」的结论——robots.txt 指令被爬虫遵守是已知技术事实——但意味着具体百分比（如 0.17× 与 0.81×）不能直接外推到其他市场或垂直领域。研究者明确区分「证明机制存在」与「测量效应量」，是避免过度解读的关键。

他们亲手否决了自己的第一个模型

这是团队的第二项研究。第一项中，他们收集了约95000条AI引用内容，将"什么导致引用"分解为189个因子，并为每个引擎建立了独立模型。

在上线前测试时，大部分结果被推翻：

用查询级out-of-fold重新测量后，R² = −0.31，比直接预测均值还差，完全没有预测力。
陷入了p > n困境——变量比数据点还多，这种模型可以拟合任何东西。
评估用的是样本内数据，相当于用做过的题给自己打分。
使用了全局随机负样本，导致模型只能区分"牙科页面"和"任意页面"。

这四个失败被逐一命名并重新设计规避，查询级out-of-fold、逐查询对照、置换检验和种子可复现性都来自那次复盘。

out-of-fold（折外）评估是交叉验证的核心操作：将数据分成 K 折，每次用 K-1 折训练、留出 1 折验证，循环 K 次后汇总验证结果。它确保模型在「没见过的数据」上被评估，避免用训练集自评造成的乐观偏差。原文提到的「查询级 out-of-fold」进一步要求：同一查询产生的所有样本必须整体划入同一折，否则模型可能记住查询特征而非真正泛化。

p > n 困境指变量数（p）超过样本数（n）。此时模型有无限多组解可以完美拟合训练数据，但几乎必然在新数据上崩溃——这是统计学习中的经典陷阱，也是原文第一版模型 R² 为负的根本原因之一。全局随机负样本则指从全站随机抽取页面作为「不相关」对照，导致模型只能学会区分「牙科页面 vs 任意页面」这种过于简单的分类，无法回答真正的问题：在同样相关的页面中，为什么有的被引用、有的没有。

另一个陷阱："越多越好"的指标大多是渠道代理

列表条目数、图片数、正文长度、外链数在完整样本中都呈正相关——数量越多，引用越多。但只把诊所首页与其他诊所首页对比时，方向就翻转了（列表36对61，图片11对21）。

长列表和大量链接是门户网站的特征。被引用的是渠道，不是特征。 如果不固定渠道就阅读相关性，你会得到一份教你"扮演门户网站"的内容清单。在自有站点内部保持方向稳定的特征只有：图片alt比例、标题标签数量、位置信息、从业者信息。

可落地的行动清单

抓取你发布的每个渠道的robots.txt——不只是自己的域名，平台也要查。
分离两个决定。 想拒绝训练但仍可被引用：屏蔽GPTBot和Google-Extended，保持OAI-SearchBot和ChatGPT-User开放。
不要从搜索可见度推断AI可见度。 Naver与Tistory之间是两个界面10比1的倒挂。
直接测量引用。 排名不等于引用，有些页面长期占据自然搜索顶部，却从未被AI回答引用过一次。

这项研究改变了什么

Trina Inc.现在只将内容发布到客户自己的域名上，不在无法控制爬虫策略的平台上积累核心内容。这不是偏好，而是上述测量的直接结论。

背景补充

渠道代理（channel proxy） 指某个特征与结果相关，但真正起作用的是特征背后的渠道或平台属性，而非特征本身。例如，列表条目多、外链多的页面更常被 AI 引用，看似是「长列表带来引用」，实则是因为这类页面往往来自门户网站或聚合平台，而这些平台本身更开放、更易被抓取。

辛普森悖论（Simpson's Paradox） 是这类现象的经典统计表现：在整体数据中变量 A 与结果 B 正相关，但按渠道分组后，组内相关性可能消失甚至反转。原文中「只把诊所首页与其他诊所首页对比时，方向就翻转了」正是辛普森悖论的实例。要避免被渠道代理误导，研究者必须固定渠道再比较特征，或使用分层模型将渠道作为随机效应纳入。这也解释了为什么只有图片 alt 比例、标题标签数量、位置信息、从业者信息等特征在自有站点内部保持方向稳定——它们反映的是页面本身的质量，而非平台属性。