Applebot-Extended
Apple 提供的 robots.txt user agent,用于控制网站内容是否被用于 Apple 系列 AI 模型(如 Apple Intelligence)的训练。
时间轴 (近 90 天)
Google-Extended和Applebot-Extended不是爬虫,而是robots.txt中的控制令牌,用来决定Googlebot和Applebot抓取的内容能否用于Gemini或Apple模型训练,不会出现在服务器日志里
AI 爬虫 user agent 可分为三类:训练类(GPTBot、ClaudeBot、CCBot、Google-Extended、Applebot-Extended)、搜索索引类(OAI-SearchBot、Claude-SearchBot、PerplexityBot)、用户触发类(ChatGPT-User、Claude-User、Perplexity-User)。
类似的产品令牌概念也出现在其他厂商:Applebot-Extended 控制 Apple Intelligence 训练,Bytespider(字节跳动)同时承担搜索与训练用途。
全部知识事实 (3)
Google-Extended和Applebot-Extended不是爬虫,而是robots.txt中的控制令牌,用来决定Googlebot和Applebot抓取的内容能否用于Gemini或Apple模型训练,不会出现在服务器日志里
50%待验证AI 爬虫 user agent 可分为三类:训练类(GPTBot、ClaudeBot、CCBot、Google-Extended、Applebot-Extended)、搜索索引类(OAI-SearchBot、Claude-SearchBot、PerplexityBot)、用户触发类(ChatGPT-User、Claude-User、Perplexity-User)。
50%待验证类似的产品令牌概念也出现在其他厂商:Applebot-Extended 控制 Apple Intelligence 训练,Bytespider(字节跳动)同时承担搜索与训练用途。
50%