robots.txt 属于自愿遵守的行业惯例而非法律强制，但在多数司法辖区被视为判断抓取行为是否善意的重要依据。