可以通过对比curl以Mozilla浏览器和OAI-SearchBot user agent请求首页的状态码，来判断服务器行为是否与robots.txt一致：浏览器200、爬虫403说明有CDN或WAF层规则在起作用。