概念
Perplexity-User
Perplexity的实时用户代理爬虫,当Perplexity用户请求浏览网页时代表该用户抓取页面内容
时间轴 (近 90 天)
10月14日
Anthropic称禁止Claude-User会阻止Claude为用户查询检索页面,但OpenAI和Perplexity表示自己的用户触发式抓取器可能不遵守robots.txt
待验证50%
10月13日
AI 爬虫 user agent 可分为三类:训练类(GPTBot、ClaudeBot、CCBot、Google-Extended、Applebot-Extended)、搜索索引类(OAI-SearchBot、Claude-SearchBot、PerplexityBot)、用户触发类(ChatGPT-User、Claude-User、Perplexity-User)。
待验证50%