Google-Extended
Google 提供的 robots.txt user agent，用于控制网站内容是否被用于 Gemini 等 Google AI 模型的训练与优化。
时间轴 (近 90 天)
Google-Extended和Applebot-Extended不是爬虫，而是robots.txt中的控制令牌，用来决定Googlebot和Applebot抓取的内容能否用于Gemini或Apple模型训练，不会出现在服务器日志里
目前主流 AI 爬虫（GPTBot、ClaudeBot、Google-Extended 等）是否、以及在多大程度上读取 llms.txt，尚无公开的采用率或效果数据。
Googlebot 和 Google-Extended 各自服务于不同系统，抓取行为与排名、AI功能展示是分离的。
AI 爬虫 user agent 可分为三类：训练类（GPTBot、ClaudeBot、CCBot、Google-Extended、Applebot-Extended）、搜索索引类（OAI-SearchBot、Claude-SearchBot、PerplexityBot）、用户触发类（ChatGPT-User、Claude-User、Perplexity-User）。
Google-Extended 控制的是 Google 能否将内容用于 Gemini 模型训练与 grounding，它并不影响 Google Search 或 AI Overviews，后者使用的是常规 Googlebot。
屏蔽 Google-Extended 不会影响站点在 Google 搜索中的收录、排名或展示，也不需要重新提交 sitemap。
Google-Extended 是 Google 在 2023 年 9 月引入的 robots.txt 产品令牌，用于控制 Google 的 Gemini 模型训练和 grounding，与 Googlebot 是两个完全独立的令牌。
OpenAI注册了专属爬虫身份GPTBot，Google注册了Google-Extended，允许网站管理员选择性屏蔽
主流AI爬虫包括GPTBot（OpenAI）、ClaudeBot（Anthropic）、Google-Extended（Google DeepMind）、Bytespider（字节跳动）
全部知识事实 (9)
主流AI爬虫包括GPTBot（OpenAI）、ClaudeBot（Anthropic）、Google-Extended（Google DeepMind）、Bytespider（字节跳动）
60%待验证Google-Extended和Applebot-Extended不是爬虫，而是robots.txt中的控制令牌，用来决定Googlebot和Applebot抓取的内容能否用于Gemini或Apple模型训练，不会出现在服务器日志里
50%待验证目前主流 AI 爬虫（GPTBot、ClaudeBot、Google-Extended 等）是否、以及在多大程度上读取 llms.txt，尚无公开的采用率或效果数据。
50%待验证Googlebot 和 Google-Extended 各自服务于不同系统，抓取行为与排名、AI功能展示是分离的。
50%待验证Google-Extended 控制的是 Google 能否将内容用于 Gemini 模型训练与 grounding，它并不影响 Google Search 或 AI Overviews，后者使用的是常规 Googlebot。
50%待验证AI 爬虫 user agent 可分为三类：训练类（GPTBot、ClaudeBot、CCBot、Google-Extended、Applebot-Extended）、搜索索引类（OAI-SearchBot、Claude-SearchBot、PerplexityBot）、用户触发类（ChatGPT-User、Claude-User、Perplexity-User）。
50%待验证Google-Extended 是 Google 在 2023 年 9 月引入的 robots.txt 产品令牌，用于控制 Google 的 Gemini 模型训练和 grounding，与 Googlebot 是两个完全独立的令牌。
50%待验证屏蔽 Google-Extended 不会影响站点在 Google 搜索中的收录、排名或展示，也不需要重新提交 sitemap。
50%待验证OpenAI注册了专属爬虫身份GPTBot，Google注册了Google-Extended，允许网站管理员选择性屏蔽
50%