论文

RFC 9309

IETF 于 2022 年发布的 robots.txt 协议正式标准，明确了 user agent 匹配、最长匹配优先、Allow/Disallow 冲突处理等规范细节。

时间轴 (近 90 天)

10月13日

RFC 9309 由 IETF 于 2022 年发布，是 robots.txt 协议的第一个正式标准。

待验证50%

10月13日

Python 标准库的 RobotFileParser 未实现 RFC 9309 的全部细节，例如 Allow 与 Disallow 之间的最长匹配优先规则。

待验证50%

RFC 9309 由 IETF 于 2022 年发布，是 robots.txt 协议的第一个正式标准。

Python 标准库的 RobotFileParser 未实现 RFC 9309 的全部细节，例如 Allow 与 Disallow 之间的最长匹配优先规则。