共 1 篇相关文章
对Tranco前1000站点的实测发现，14.2%的站点robots.txt允许AI爬虫但服务器拒绝，CDN和WAF层才是真正的守门人。OAI-SearchBot在8%允许它的站点上被拒，影响ChatGPT搜索引用。
