待验证50% 置信观点精确时间
robots.txt 只能表达“允许/禁止”的二元态度，无法区分代理代表真实用户行为、访问频次带来的负载成本或潜在的交易价值。
1
来源数
50%
置信度
长期有效
时效性
2026/10/22
首次发现
来源
涉及实体
相关事实
待验证即便爬虫声明了身份，高并发的请求频率本身也可能在不违反robots.txt规则的情况下实质性地造成拒绝服务效果73% 相似待验证无法识别的商户归入「other」而非硬塞进错误类目；消息中没有金额时机器人反问用户而不是编造。72% 相似待验证robots.txt 是公开可读的，运营者列出的屏蔽 User-Agent 清单反而会被爬虫用来伪装成其他身份72% 相似待验证robots.txt is a 'gentleman's agreement' that relies on the crawler's voluntary compliance and has no enforcement power70% 相似待验证大多数在线服务的用户协议明确禁止自动化脚本或机器人模拟人类操作，使智能体以真人身份登录第三方服务存在合规灰色地带66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1085084API
curl https://kongchang.com/api/v1/knowledge/claims/1085084MCP
get_claim(id=1085084)