概念noindex 指令
noindex
一种HTML元标签或HTTP响应头指令，用于告知搜索引擎不要将页面编入索引，常与 robots.txt 配合使用但需页面被抓取才能生效。
时间轴 (近 90 天)
10月17日
noindex 是搜索引擎提供的一种页面级指令，通过 `<meta name="robots" content="noindex">` 标签或 HTTP 响应头 `X-Robots-Tag` 告知爬虫可以抓取页面但不纳入索引。
待验证50%
10月17日
noindex 与 robots.txt 的 Disallow 不同：前者允许抓取但拒绝收录，后者阻止抓取。
待验证50%
10月16日
noindex指令意在阻止索引，但爬虫通常必须先抓取资源才能读到该指令。
待验证50%