允许爬虫访问不保证排名或引用，只是移除了一个可能的访问障碍。