待验证60% 置信事实精确时间

Ahrefs 的爬虫 AhrefsBot 在互联网爬虫活跃度排名中长期仅次于 Google，其反向链接数据库涵盖超过3万亿个链接

2

来源数

60%

置信度

中期 (~90 天)

时效性

2026/7/21

首次发现

有效期至：2026/10/19

来源

open-seo：免费开源的Semrush替代工具深度解析

相关事实

待验证Ahrefs 的自研爬虫 AhrefsBot 每天抓取超过80亿个网页80% 相似待验证HTTPArchive 每月对全球数百万个热门网站进行自动化审计，数据存储在 Google BigQuery 中并向公众开放查询64% 相似待验证此前影响力最大的机器人数据集如Google的RT系列和Open X-Embodiment项目规模通常在数十万到数百万条轨迹之间64% 相似待验证互联网档案馆保存的8000亿网页涵盖了互联网30年的演化历程，包含大量已从现网消失的内容，成为训练AI模型的珍贵语料库63% 相似待验证DoubleVerify在2024年的报告显示AI爬虫流量已占部分内容网站总流量的30%以上61% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/579899

API

curl https://kongchang.com/api/v1/knowledge/claims/579899

MCP

get_claim(id=579899)