已验证65% 置信事实精确时间
robots.txt 是放置于网站根目录的纯文本文件，遵循机器人排除标准，用于向爬虫声明哪些路径允许访问
3
来源数
65%
置信度
长期有效
时效性
2026/9/13
首次发现
来源
涉及实体
相关事实
待验证WebMCP被视为继robots.txt和sitemap.xml之后面向机器的第三类网站元信息标准70% 相似已验证URDF（Unified Robot Description Format）是 ROS 生态中描述机器人物理结构的标准 XML 格式65% 相似待验证DokBot 允许用户上传 PDF 和文本文件，自动构建出能够回答问题的 AI 客服机器人并嵌入到网站中60% 相似待验证seo-agent检测到AI爬虫访问时，动态提供干净的Markdown格式内容而非原始HTML55% 相似待验证传统浏览器自动化工具（Selenium、Playwright、Puppeteer）需要解析复杂的 DOM 结构，生成的页面描述包含大量对 AI 无用的噪声信息55% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/919243API
curl https://kongchang.com/api/v1/knowledge/claims/919243MCP
get_claim(id=919243)