验证爬虫而非信任User-Agent：应拦截声称是已知搜索或AI爬虫但未被边缘验证的请求；对于不发布验证列表但发布IP范围的爬虫（如Perplexity），应通过发布IP加User-Agent豁免，并定期重新检查列表。