llms.txt 实测：30天零抓取，AI爬虫到底读什么？

llms.txt 曾被寄予厚望——让 AI 工具快速理解一个网站。但一位开发者的 30 天实测数据泼了一盆冷水：Cloudflare 识别出的 AI 爬虫对 /llms.txt 的请求次数是 0，同期对 robots.txt 的请求是 605 次。这个结果不否定 llms.txt 的存在价值，却逼我们重新思考：想让 AI 读到你的网站，力气该花在哪里？

30 天实测：零抓取，但数据可信吗？

博主 Yap Pat Yih 在 2026 年 9 月 14 日至 10 月 13 日期间，利用 Cloudflare 的 AI Crawl Control（免费计划即可用）追踪了 AI 爬虫的访问路径。筛选所有包含 llms 的路径后，仪表盘返回「No requests data found」；隔天用 7 天和 30 天窗口复核，依然是零。

零本身需要验证。作者做了三重交叉检查：同一路径筛选器在 7 天内能找到 97 次 /sitemap-posts.xml 请求；按 .txt 后缀筛选能找到 BingBot 抓取 IndexNow 密钥文件的记录；llms 文件与文章页由同一个 Worker 实时生成，而文章页在同周期被请求了 57 次。筛选器有效、文本文件被计数、生成路径被覆盖——零是真实的。

Cloudflare AI Crawl Control 是 Cloudflare 于 2025 年推出的一项功能，用于让站点管理员查看哪些 AI 爬虫访问了站点、抓取了哪些路径，并可选地对它们进行拦截或收费。它基于 Cloudflare 的边缘网络日志，通过 UA 字符串、已知 IP 段和行为特征来识别爬虫。不过，识别本身依赖 Cloudflare 维护的爬虫名录，因此新出现的、未被收录的爬虫，或以浏览器身份伪装的工具不会被计入。这也是文中「零抓取」结论需要限定在「Cloudflare 识别得出的爬虫」范围内的原因。

爬虫实际在读什么：robots.txt、sitemap 和页面本身

同一周期内，Cloudflare 识别的 AI 爬虫共向该站发出约 3,000 次请求。分布很能说明问题：

• /robots.txt：605 次
• 首页 /：207 次（Googlebot 39、GPTBot 29、OAI-SearchBot 25、BingBot 20、ClaudeBot 11）
• /sitemap-posts.xml：192 次（ClaudeBot 独占 128 次，占三分之二）
• 单篇文章：57 次（PerplexityBot、GPTBot、CCBot、Claude-User、ClaudeBot 均有出现）
• /llms.txt 与 /llms-full.txt：0 次

全站爬虫请求量排名中，Googlebot（602）、ClaudeBot（464）、GPTBot（356）、Applebot（221）、Meta-ExternalAgent（185）位居前列。这些爬虫来得频繁，读的却全是「老几样」：robots.txt 学规则、sitemap 找页面、页面本身取内容。llms.txt 完全不在它们的访问清单里。

robots.txt 是放在网站根目录的纯文本协议文件，用 User-agent 和 Disallow 等指令告诉爬虫哪些路径可以抓、哪些不可以。它本身不是强制性的，但主流搜索引擎和 AI 公司都将其作为事实标准遵守。sitemap（通常为 XML 格式）则列出站点希望被收录的页面 URL 及更新时间，帮助爬虫发现深层页面、避免遗漏。两者分工不同：robots.txt 管「能不能抓」，sitemap 管「有哪些页面可抓」。文中 ClaudeBot 把三分之二请求投向 sitemap，说明 sitemap 是 AI 爬虫发现内容的主要入口。

提案方和 AI 公司怎么说

Jeremy Howard 于 2024 年 9 月 3 日在 llmstxt.org 提出 llms.txt，但提案本身并没有把爬虫放在首位。它描述的是一种「按需读取」的文件——当 AI 工具在协助用户时需要了解某个主题，才去读这个文件。提案原话是：「我们的预期是 llms.txt 主要用于推理而非训练。」作者的测量只覆盖爬虫，测的其实是提案并不主打的那个用途。

Google 的 Search Central 文档明确表示，要在 Google 的 AI 功能中出现，不需要新建机器可读文件或 AI 文本文件，全文未提及 llms.txt。OpenAI、Anthropic 和 Perplexity 各自为自家爬虫提供文档，统一指向 robots.txt 作为控制入口，没有一家声明其爬虫会读取网站的 llms.txt。有意思的是，这三家公司都为自家开发者文档发布了 llms.txt——这恰好符合提案的本意：工具被要求读文档时去读，而非爬虫全网扫荡。

GPTBot、ClaudeBot、PerplexityBot 分别是 OpenAI、Anthropic、Perplexity 用于抓取网页内容的爬虫标识。它们各自发布文档，说明爬虫的 UA 字符串、用途以及站点如何选择退出，但退出方式统一指向 robots.txt。与之相对，OAI-SearchBot 是 OpenAI 用于搜索索引的爬虫，Claude-User 则用于响应用户实时请求时抓取页面，二者与训练用爬虫的用途不同。理解这些爬虫的分工，有助于判断为什么「让 AI 读到网站」的实际入口仍然是 robots.txt 和页面本身。

这个测量看不到什么

数据有其边界，作者也如实承认。Cloudflare 只统计它「识别得出」的爬虫，因此三类访问不可见：用浏览器手动打开 /llms.txt 的人；Cloudflare 不认识的爬虫；以及以普通浏览器身份伪装、在协助用户时抓取文件的 AI 工具。最后一类恰恰是提案描述的核心场景，无法排除。

时间窗口同样受限：仪表盘最长只提供 30 天范围，免费计划的其它分析无法按路径过滤，Worker 也不保留日志。所以能下的结论很窄——在这 30 天里，Cloudflare 识别出的 AI 爬虫没有请求过这个文件。

那还留着 llms.txt 吗？

作者的选择是保留，理由有两条。成本为零：Worker 从网站已有的文章实时生成这两个文件，无需手工维护。体验友好：当有人或某个 AI 工具被指向这个网站时，有一个干净的纯文本文件可读，而不必面对满是布局的页面。

「如果没人来要，我什么也没损失。但我不会把它当作被发现的途径。」这句话值得每个内容站主记住。

想让 AI 读到你的网站，该做什么

实测数据给出的优先级很清晰：

1. 让爬虫进得来。检查 robots.txt 没有屏蔽它们，主机或防火墙也没有拦截。
2. 维护完整的 sitemap，并在 robots.txt 中声明它。ClaudeBot 的三分之二请求都指向 sitemap，这一步不能省。
3. 每页都是纯 HTML，文字不依赖脚本加载即可呈现。
4. 如果加 llms.txt，就把它当作对读者和工具的礼貌，而非获取曝光的步骤，并且要测量是否真的有人请求它。

FAQ

llms.txt 是什么？

位于网站根目录 /llms.txt 的 Markdown 文件，包含站点名称、一句引言式简介，以及主要页面的清单和简短说明。Jeremy Howard 于 2024 年 9 月 3 日在 llmstxt.org 提出，目的是帮助 AI 工具在用户询问时快速理解一个网站。

Google 会用 llms.txt 吗？

Google Search Central 关于 AI 功能的页面表示，不需要创建新的机器可读文件或 AI 文本文件来出现在 Google 的 AI 功能中，且未点名 llms.txt。添加它并不是通往 Google AI 答案的步骤。

AI 爬虫会读 llms.txt 吗？

在该站点的实测中不会。30 天内 Cloudflare 识别的 AI 爬虫对 /llms.txt 和 /llms-full.txt 的请求为零，同期 robots.txt 被请求 605 次。OpenAI、Anthropic、Perplexity 的爬虫文档均指向 robots.txt，未提及 llms.txt。

我应该给网站加 llms.txt 吗？

如果能低成本保持准确，可以加，作为对寻找它的用户和工具的礼貌。但不要指望它带来爬虫访问或搜索流量——实测中 30 天为零。优先投入 robots.txt、sitemap 和纯 HTML 页面。

llms.txt 和 robots.txt 有什么区别？

robots.txt 告诉爬虫哪些路径可以抓取，OpenAI、Anthropic、Perplexity 都将其记录为控制爬虫的方式。llms.txt 是站点摘要和页面清单，供 AI 工具在用户询问时阅读。实测中，30 天内 AI 爬虫抓取 robots.txt 605 次，llms.txt 零次。