robots.txt遵循「机器人排除协议」，用于告知爬虫哪些路径可以抓取、哪些应当避开，它并非法律强制，而是行业惯例。