待验证50% 置信决策规则精确时间
如果内容必须保密，应放到登录之后，因为 robots.txt 不能拦住一切。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
涉及实体
相关事实
待验证robots.txt 是公开可读的，运营者列出的屏蔽 User-Agent 清单反而会被爬虫用来伪装成其他身份71% 相似待验证抓取公开商户目录在多数国家属于合法的公开信息获取，但部分平台服务条款限制自动化访问，使用前需确认robots.txt及用户协议70% 相似待验证创作者保护内容的有效技术手段包括robots.txt协议声明爬取规则、服务端渲染配合访问频率限制、对高价值内容设置登录墙68% 相似待验证robots.txt is a 'gentleman's agreement' that relies on the crawler's voluntary compliance and has no enforcement power66% 相似待验证自动发布社交内容违反LinkedIn、X等平台的机器人使用政策，账号存在被降权或封禁风险66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1044958API
curl https://kongchang.com/api/v1/knowledge/claims/1044958MCP
get_claim(id=1044958)