OAI-SearchBot
OpenAI用于为ChatGPT搜索功能抓取网页内容的爬虫，与训练数据采集爬虫GPTBot相区分
核心事实
时间轴 (近 90 天)
三类AI爬虫的屏蔽退出成本呈梯度：训练爬虫 < 搜索爬虫 < 用户触发式抓取器
OpenAI表示选择退出OAI-SearchBot的网站不会出现在ChatGPT搜索回答中，但仍可能以导航链接形式出现
为了出现在ChatGPT中而屏蔽GPTBot取决于你指哪个OpenAI代理；如果搜索可见性重要，应先查阅最新用户代理文档再写规则。
AI 爬虫 user agent 可分为三类：训练类（GPTBot、ClaudeBot、CCBot、Google-Extended、Applebot-Extended）、搜索索引类（OAI-SearchBot、Claude-SearchBot、PerplexityBot）、用户触发类（ChatGPT-User、Claude-User、Perplexity-User）。
OpenAI 官方文档说明 OAI-SearchBot、GPTBot、ChatGPT-User 等设置相互独立；OAI-SearchBot 负责让站点出现在 ChatGPT 搜索中，选择退出的站点不会出现在 ChatGPT 搜索的回答里。
营销人员应检查CDN或WAF日志，确认OAI-SearchBot、ChatGPT-User、PerplexityBot、Claude-SearchBot和Googlebot收到的是200响应而非403。
在9月28日快照解析的4,242个robots.txt文件中，GPTBot每被允许一次就有1.60次被拒绝；OAI-SearchBot这一比例仅为0.91。
robots.txt 中对 GPTBot、ClaudeBot、PerplexityBot 等 AI 爬虫的访问权限设置直接决定内容能否进入这些模型的训练集或实时检索池
全部知识事实 (9)
AI爬虫包括GPTBot、ClaudeBot、PerplexityBot等
65%部分验证OpenAI 官方文档说明 OAI-SearchBot、GPTBot、ChatGPT-User 等设置相互独立；OAI-SearchBot 负责让站点出现在 ChatGPT 搜索中，选择退出的站点不会出现在 ChatGPT 搜索的回答里。
70%待验证三类AI爬虫的屏蔽退出成本呈梯度：训练爬虫 < 搜索爬虫 < 用户触发式抓取器
50%待验证OpenAI表示选择退出OAI-SearchBot的网站不会出现在ChatGPT搜索回答中，但仍可能以导航链接形式出现
50%待验证为了出现在ChatGPT中而屏蔽GPTBot取决于你指哪个OpenAI代理；如果搜索可见性重要，应先查阅最新用户代理文档再写规则。
50%待验证AI 爬虫 user agent 可分为三类：训练类（GPTBot、ClaudeBot、CCBot、Google-Extended、Applebot-Extended）、搜索索引类（OAI-SearchBot、Claude-SearchBot、PerplexityBot）、用户触发类（ChatGPT-User、Claude-User、Perplexity-User）。
50%待验证在9月28日快照解析的4,242个robots.txt文件中，GPTBot每被允许一次就有1.60次被拒绝；OAI-SearchBot这一比例仅为0.91。
50%待验证营销人员应检查CDN或WAF日志，确认OAI-SearchBot、ChatGPT-User、PerplexityBot、Claude-SearchBot和Googlebot收到的是200响应而非403。
50%待验证robots.txt 中对 GPTBot、ClaudeBot、PerplexityBot 等 AI 爬虫的访问权限设置直接决定内容能否进入这些模型的训练集或实时检索池
50%