部分厂商文档指出用户触发的 AI agent 未必像传统爬虫那样遵循 robots.txt，因为请求由真人发起。