待验证50% 置信事实精确时间
robots.txt 是公开可读的，运营者列出的屏蔽 User-Agent 清单反而会被爬虫用来伪装成其他身份
1
来源数
50%
置信度
长期有效
时效性
2026/9/16
首次发现
来源
涉及实体
相关事实
待验证小红书等平台的公开内容在技术上可被爬虫抓取，但各平台的robots.txt文件和服务条款明确了爬取边界73% 相似待验证企业防护措施包括在robots.txt中屏蔽敏感路径、对后台启用IP白名单、使用非标准路径替代默认的/admin入口67% 相似待验证robots.txt is a 'gentleman's agreement' that relies on the crawler's voluntary compliance and has no enforcement power67% 相似待验证创作者保护内容的有效技术手段包括robots.txt协议声明爬取规则、服务端渲染配合访问频率限制、对高价值内容设置登录墙65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/924608API
curl https://kongchang.com/api/v1/knowledge/claims/924608MCP
get_claim(id=924608)