产品
RobotFileParser
Python 标准库 urllib.robotparser 中用于解析和评估 robots.txt 规则的类,实现的是较宽松的早期语义,未完全符合 RFC 9309。
时间轴 (近 90 天)
10月13日
Python 标准库的 RobotFileParser 未实现 RFC 9309 的全部细节,例如 Allow 与 Disallow 之间的最长匹配优先规则。
待验证50%
Python 标准库 urllib.robotparser 中用于解析和评估 robots.txt 规则的类,实现的是较宽松的早期语义,未完全符合 RFC 9309。
Python 标准库的 RobotFileParser 未实现 RFC 9309 的全部细节,例如 Allow 与 Disallow 之间的最长匹配优先规则。