过去二十多年，互联网靠robots.txt、反爬机制、验证码组合管理自动化流量。