llms.txt：它是什么，以及如何创建

什么是 llms.txt？

llms.txt 是一个 Markdown 文件，它为 AI 智能体提供一份关于网站最有价值内容的简短、精选的地图，让它们无需解析完整的 HTML 页面就能找到所需内容。它由 Jeremy Howard（Answer.AI 和 fast.ai 的联合创始人）于 2024 年 9 月 3 日提出，并在 2026 年 8 月 10 日大幅修订为 v2 版本。

它解决的问题不是一个营销问题，而是一个 token 经济学问题：

“但网页是为人类构建的。一个 HTML 页面把它的信息包裹在导航、广告和 JavaScript 之中，把它转换回干净的文本既困难又不精确。上下文窗口虽然比以前更大了，但对于大多数网站的完整内容而言仍然太小，而每一个被浪费的 token 都要耗费时间和金钱。”

—— Jeremy Howard，《The /llms.txt file, v2》，发布于 2024 年 9 月 3 日，2026 年 8 月 10 日修订

这个起源很重要，因为它解释了 llms.txt 擅长什么——以及它从来就不是为了什么而设计的。

llms.txt 能帮助你在 Google 排名吗？不能。

这是关于这个文件最常见的一个误解，在你投入任何时间实施之前，值得直白地把话说清楚。Google 自己的文档直接回应了这一点：

“你无需创建新的机器可读文件、AI 文本文件或标记，就能出现在这些功能中。你也不需要添加任何特殊的 schema.org 结构化数据。”

—— Google Search Central，《AI 功能与你的网站》——关于出现在 AI Overviews 和 AI Mode 中

Google 在公开场合也一直保持这一立场。在 2025 年 7 月于亚太地区举办的 Google Search Central Deep Dive 活动上，Gary Illyes 表示 Google 不支持 llms.txt，也没有支持它的计划，而让内容进入 AI Overviews 的是常规的 SEO 实践——正如 Search Engine Land 所报道的。John Mueller 则另将这一格式比作老式的 keywords meta 标签：一个搜索引擎无论如何都必须对照真实页面去核实的自声明信号。

谁真的在读 llms.txt

这个文件确实有真实、有据可查的采用——只是并不在大多数 SEO 文章所声称的地方。它最广泛的应用是被编程智能体所消费的软件文档：

• AI 实验室自己就在发布。根据 v2 规范，OpenAI、Anthropic 和 Gemini 都为它们的开发者文档发布了 llms.txt 文件。
• Chrome 的 Lighthouse 会检查这个文件。v2 规范指出，Lighthouse 在其智能体浏览检查中，会审计网站是否存在 llms.txt 文件。
• 文档平台会自动生成它，这就是为什么如今有成千上万个网站在无人手工编写的情况下发布了这个文件。

规范明确指出，其预期的使用方式是推理（inference）而非训练——一个智能体在帮助用户完成特定任务时按需读取它，而不是由爬虫把它扫进训练语料库。

因此，添加一个的诚实理由是：如果有人用编程智能体、文档助手或研究智能体来访问你的内容，llms.txt 会为这些智能体提供一条更干净的进入路径。如果你的网站是一个既没有文档也没有 API 的营销网站，那么它今天现实中的收益接近于零。

v2 格式，精确解读

大多数指南描述的是 v1 格式，并且在两处说错了。第一，这个文件并非必须放在你的域名根目录下。第二，实际上只有一个部分是必需的。

根据 v2 规范，一个符合规范的文件包含以下这些以 Markdown 编写的部分，且必须按此顺序：

1. 一个可选的字节顺序标记（BOM）。
2. 一个包含项目或网站名称的 H1 标题。这是唯一必需的部分。
3. 一个包含项目简短摘要的 blockquote，其中包含理解文件其余部分所必需的关键信息。
4. 零个或多个除标题（headings）以外的任意类型的 Markdown 部分——如段落、列表——用于进一步说明项目以及如何解读这些文件。
5. 零个或多个以 H2 标题分隔的部分，其中包含指向更多详细信息的 URL 的“文件列表”。每个列表项必须是一个 Markdown 超链接 [name](url)，其后可跟一个 : 以及关于该文件的备注。

规范自带的示例：

# Title

> Optional description goes here

Optional details go here

## Section name

- [Link title](https://link_url): Optional link details

## Optional

- [Link title](https://link_url)

## Optional 部分是一个保留约定，而不仅仅是一个标签——它标记的是智能体在需要更短上下文时可以跳过的次要链接。把真正重要的页面放在 ## Optional 下，是自找麻烦。

放置位置：根目录或任意子路径

位于 /llms.txt 的文件覆盖整个网站。位于 /docs/llms.txt 的文件覆盖 /docs/ 下的所有内容。当有多个文件适用时，智能体应使用最具体的那一个。对于一个大型网站来说，一个聚焦的 /docs/llms.txt 往往比一个试图描述所有内容的根目录文件更有用。

v2 的后半部分：页面的 Markdown 版本

这是几乎每一篇 llms.txt 文章都遗漏的部分，而它可以说比索引文件本身更有用。v2 建议，智能体可能需要的页面还应在同一 URL 提供一份干净的 Markdown 版本——要么追加 .md 后缀（page.html.md），要么替换扩展名（page.md）。没有文件名的 URL 则追加 index.html.md 或 index.md。

为了让客户端发现它们，规范推荐使用标准的链接关系：rel="alternate" type="text/markdown" 指向页面的 Markdown 版本，rel="describedby" 指向覆盖该页面的 llms.txt 文件。它们既可以作为 HTML 的 <link> 元素使用，也可以作为 HTTP 的 Link: 响应头使用：

Link: </docs/page.html.md>; rel="alternate"; type="text/markdown",
      </docs/llms.txt>; rel="describedby"

对于任何不想改动页面模板的人来说，响应头这种形式值得注意：它可以在 Web 服务器或 CDN 配置中添加，而且对非 HTML 资源（比如 Markdown 文件本身）也同样有效。

值得避免的五个错误

1. 指望 Google 排名。上文已说明。Google 明确表示它不使用这个文件；发布一个既不会改变你的排名，也不会改变你的 AI Overviews 引用。
2. 把它当作 robots.txt 的替代品。它们解决的是不同的问题。robots.txt 规定自动化工具可以访问什么；llms.txt 描述的是你的内容是什么，而且是按需读取的。两者互不替代。
3. 把 sitemap 一股脑倒进去。sitemap 是为搜索引擎列出每一个可索引页面的。llms.txt 是一个精心筛选的概览——它的价值恰恰在于你省略了什么。如果它长到足以撑爆上下文窗口，那它唯一的工作就已经失败了。
4. 在存在 Markdown 时却链接到 HTML。链接应指向对 LLM 友好的内容。把一个智能体引向一个满是 JavaScript 的 HTML 页面，等于重新制造了这个文件被发明出来所要解决的同一个问题。
5. 写一次就任其腐坏。一个描述着早已搬家页面的文件比没有文件更糟——它一边宣称对你的结构拥有权威，一边把智能体引向 404。

那么，你应该添加一个吗？

鉴于今天实际已知的情况，一条站得住脚的经验法则是：

• 要，如果你发布文档、API 或面向开发者的产品。这正是这个文件被设计出来的使用场景，也是它被证实确实会被读取的地方。
• 很可能要，如果它是由你的文档平台自动生成的。成本为零，而且它会替你保持更新。
• 对于一个纯营销网站来说，它是一个廉价的对冲。它只需几分钟，不会造成任何伤害，也没有证据表明它会影响 Google 的可见性——但 Google 并不是唯一重要的引擎，而其他引擎从未公布过它们使用什么。

最后这一点正是全部论点的核心，值得直白地讲清楚。Google 已经告诉了你它的最低要求；ChatGPT、Claude 和 Perplexity 则什么都没告诉你。这种不对称意味着，与其做得和 Google 要求的恰好一样多，不如多做一点点：这里的额外工作量以分钟计，它不会损害你的 Google 表现，而且是你能用来对冲那些从不公布规则手册的引擎的唯一手段。要把 llms.txt 归入这一类别——它不是一种排名手段，也不应因为 Google 对它耸了耸肩就把它跳过。

真正决定 AI 答案引擎能否触达并引用你的，其实是远为平凡的事：它们的检索爬虫是否被允许进入。这是一个 robots.txt 的问题，也正是我们关于如何被 AI 答案引擎引用的指南的主题——在那篇指南里，训练爬虫和搜索爬虫之间的区别被证明极为重要。

常见问题