robots.txt等退出机制虽被部分平台尊重，但缺乏法律强制力，行业标准仍待建立。