[控场AI]
概念

ChatGPT-User

OpenAI用于处理ChatGPT用户实时请求的爬虫,例如在用户对话中触发网页访问

核心事实

时间轴 (近 90 天)

10月14日

三类AI爬虫的屏蔽退出成本呈梯度:训练爬虫 < 搜索爬虫 < 用户触发式抓取器

待验证50%
10月14日

Anthropic称禁止Claude-User会阻止Claude为用户查询检索页面,但OpenAI和Perplexity表示自己的用户触发式抓取器可能不遵守robots.txt

待验证50%
10月13日

AI 爬虫 user agent 可分为三类:训练类(GPTBot、ClaudeBot、CCBot、Google-Extended、Applebot-Extended)、搜索索引类(OAI-SearchBot、Claude-SearchBot、PerplexityBot)、用户触发类(ChatGPT-User、Claude-User、Perplexity-User)。

待验证50%
10月13日

OpenAI 官方文档说明 OAI-SearchBot、GPTBot、ChatGPT-User 等设置相互独立;OAI-SearchBot 负责让站点出现在 ChatGPT 搜索中,选择退出的站点不会出现在 ChatGPT 搜索的回答里。

部分验证70%
10月12日

营销人员应检查CDN或WAF日志,确认OAI-SearchBot、ChatGPT-User、PerplexityBot、Claude-SearchBot和Googlebot收到的是200响应而非403。

待验证50%
9月24日

robots.txt 中对 GPTBot、ClaudeBot、PerplexityBot 等 AI 爬虫的访问权限设置直接决定内容能否进入这些模型的训练集或实时检索池

待验证50%

全部知识事实 (7)

来源文章