已验证65% 置信事实时间未知
AI爬虫包括GPTBot、ClaudeBot、PerplexityBot等
3
来源数
65%
置信度
长期有效
时效性
2026/6/2
首次发现
来源
Claude Code SEO Skills实战：四大技巧重塑SEO工作流
bilibili犬哥网站
涉及实体
相关事实
待验证许多AI公司的爬虫被发现忽略robots.txt的限制指令，或使用未声明身份的爬虫绕过规则72% 相似待验证2024年的一项研究发现，在已知的AI训练爬虫中，超过35%的爬虫完全无视robots.txt的限制指令66% 相似待验证Anthropic使用'ClaudeBot'标识，Google的AI爬虫标识为'Google-Extended'，Perplexity使用'PerplexityBot'，Apple使用'Applebot-Extended'66% 相似待验证很多网站的robots协议会屏蔽ClaudeBot、GPTBot等AI爬虫，导致这些AI引擎无法获取被屏蔽站点内容65% 相似待验证波士顿动力、特斯拉Optimus、Figure AI等公司选择人形机器人方案，基于让机器人无需改造现有空间即可直接投入使用的逻辑64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/37805API
curl https://kongchang.com/api/v1/knowledge/claims/37805MCP
get_claim(id=37805)