robots 协议是网站根目录下 robots.txt 文件所声明的爬虫访问规则，用于告知自动化程序哪些路径可以抓取、哪些应当避开；它并非法律条文，但在多数司法辖区被视为判断抓取行为是否善意的重要参考。