待验证50% 置信事实精确时间
许多托管平台或模板生成的默认robots.txt会一刀切地Disallow所有爬虫，导致内容对Googlebot可见却对AI引擎完全隐形
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/16
首次发现
有效期至：2027/1/14
来源
当浏览器游戏只为AI搜索引擎优化，而非Google
rss2026/10/16
涉及实体
相关事实
已验证Googlebot 通过遵循各网站 robots.txt 协议决定可抓取的页面范围，robots.txt 是存放于网站根目录、用于向爬虫声明可抓取或屏蔽页面的文本文件78% 相似待验证谷歌推出了 googlebot 系列指令扩展，部分平台支持 robots meta 标签中的 noindex、nosnippet 等值73% 相似待验证Google 能容忍混乱的站点并执行 JavaScript，而多数 AI 爬虫不具备同样的宽容度，这是站点在 Google 排名好却不在 AI 回答中出现的原因之一。71% 相似待验证Google-Extended和Applebot-Extended不是爬虫，而是robots.txt中的控制令牌，用来决定Googlebot和Applebot抓取的内容能否用于Gemini或Apple模型训练，不会出现在服务器日志里71% 相似待验证Googlebot 和 Google-Extended 各自服务于不同系统，抓取行为与排名、AI功能展示是分离的。70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1044769API
curl https://kongchang.com/api/v1/knowledge/claims/1044769MCP
get_claim(id=1044769)