产品Capture Index API / Common Crawl CDX API
CDX API
Common Crawl提供的索引元数据查询接口,允许用户查询特定URL是否被爬取收录、收录时间及HTTP状态等信息
时间轴 (近 90 天)
10月12日
CDX API(Capture Index API)是访问Common Crawl索引元数据的标准接口,可查询URL是否被收录、收录时间及HTTP状态,但不返回页面内容本身
待验证50%
Common Crawl提供的索引元数据查询接口,允许用户查询特定URL是否被爬取收录、收录时间及HTTP状态等信息
CDX API(Capture Index API)是访问Common Crawl索引元数据的标准接口,可查询URL是否被收录、收录时间及HTTP状态,但不返回页面内容本身