概念Robots Exclusion Protocol / robots.txt
robots 协议
网站根目录下 robots.txt 文件所声明的爬虫访问规则，用于告知自动化程序哪些路径可以抓取、哪些应当避开，是判断抓取行为是否善意的重要参考。
核心事实
时间轴 (近 90 天)
10月23日
robots.txt 属于自愿遵守的行业惯例而非法律强制，但在多数司法辖区被视为判断抓取行为是否善意的重要依据。
待验证50%
10月21日
抓取公开职位信息在不同司法辖区的合规边界并不一致，项目需要明确数据使用范围并尊重目标站点的 robots 协议
待验证50%
10月18日
robots 协议是网站根目录下 robots.txt 文件所声明的爬虫访问规则，用于告知自动化程序哪些路径可以抓取、哪些应当避开；它并非法律条文，但在多数司法辖区被视为判断抓取行为是否善意的重要参考。
待验证50%
10月8日
采集公开数据时应尊重网站的 robots 协议和使用条款，采集行为是否合规取决于目标站点服务条款与当地法律法规
已验证65%
9月13日
robots.txt 是放置于网站根目录的纯文本文件，遵循机器人排除标准，用于向爬虫声明哪些路径允许访问
已验证65%
全部知识事实 (5)
已验证
采集公开数据时应尊重网站的 robots 协议和使用条款，采集行为是否合规取决于目标站点服务条款与当地法律法规
65%已验证robots.txt 是放置于网站根目录的纯文本文件，遵循机器人排除标准，用于向爬虫声明哪些路径允许访问
65%待验证robots.txt 属于自愿遵守的行业惯例而非法律强制，但在多数司法辖区被视为判断抓取行为是否善意的重要依据。
50%待验证抓取公开职位信息在不同司法辖区的合规边界并不一致，项目需要明确数据使用范围并尊重目标站点的 robots 协议
50%待验证robots 协议是网站根目录下 robots.txt 文件所声明的爬虫访问规则，用于告知自动化程序哪些路径可以抓取、哪些应当避开；它并非法律条文，但在多数司法辖区被视为判断抓取行为是否善意的重要参考。
50%