AI 爬虫 robots.txt 政策研究

范围与方法

历史样本共 1000 个域名，Tranco 排名跨度 1–1726。旧日志记录探测 3,000 个过滤后候选，1,931 个通过启发式准入，再按排名保留前 1000 个。这不等于每个域名都是经过独立认证的内容网站；样本仍有基础设施和站点别名。

记录的榜单日期为 2026-11-08，但永久 Tranco ID 未归档。首次采集结束于 2026-11-09T02:48:00Z，之后的重试缺少逐请求时间。旧程序使用 10 秒超时、最多 5 次重定向、200,000 字节读取上限。这是历史快照，不是当前实时检测。

旧分类器把 891 个域名标为可解析，其余 109 个不进入下列比例分母。“可解析”只是旧标志，不等于独立有效性验证。空文件可以合法地没有限制，而错误文本、混合补抓元数据仍需复核。本版不再把所有 HTML 响应都称为文件缺失，也不声称只有四个不可判定案例。

旧匹配器优先使用点名组，没有时使用 wildcard，匹配最长规则，长度相同则 Allow 优先。只检查 /。复现该实现不等于完整 RFC 合规或真实机器人行为验证。

标识与用途

保留原 14 个标识用于对照，但其用途不同。主指标包含 12 个 AI 相关标识；Googlebot 和 Bingbot 单列为普通搜索对照。用户触发访问和混合用途 token 不再统一贴“决定引用”的标签。

运营商定义不同：ChatGPT-User 不控制 Search 收录，Perplexity-User 通常忽略 robots，Google-Extended 同时涉及训练与 grounding。CCBot 采集开放数据；Bytespider 的具体后续用途在此未获独立核验。请查看运营方来源与方法。

各标识限制比例

横向滑动查看完整图表；精确数值见相邻表格。

在 12 项 AI 相关口径内，235 个域名有点名限制，26 个仅有 wildcard 限制。原 14 项口径的点名数为 238，两个口径不可混用。

同厂商用途对照

比较同厂商两个标识，而不推断整个平台结果。每个矩阵覆盖历史解析器子样本的 891 个域名。“未匹配禁止”包含默认或 no_rule，不等于已验证许可或引用。

GPTBot / OAI-SearchBot

限制 GPTBot 的 190 个域名中，106 个未对 OAI-SearchBot 匹配根路径禁止（55.8%）。这只描述声明规则。

横向滑动查看完整图表；精确数值见相邻表格。

ClaudeBot / Claude-SearchBot

限制 ClaudeBot 的 185 个域名中，89 个未对 Claude-SearchBot 匹配根路径禁止（48.1%）。这只描述声明规则。

横向滑动查看完整图表；精确数值见相邻表格。

限制数量分布

本图仅统计 12 个 AI 相关标识。根路径受限的域名仍可能允许其他路径。原 14 项口径中，12 个对全部标识受限，628 个对所有标识都未匹配限制；不能据这些数字推断其行业类别。

横向滑动查看完整图表；精确数值见相邻表格。

llms.txt 的关联

旧根路径启发式在 1000 个域名中检出 172 个 llms.txt（17.2%）。这是检出，不是格式核验后的采用率：正文未归档，也没有测试子路径文件。本图回答明确的条件问题：检出组与未检出组各有多少比例出现根路径限制？

横向滑动查看完整图表；精确数值见相邻表格。

条件方向不能颠倒：这不是“受限站点里有多少发布 llms”。结果不说明因果；排除两个普通搜索对照也改变了原 14 项口径的比较，旧口径已留在 metrics.json。

排名分组

这些排名组覆盖 891 个域名。差异只是本次筛选快照的描述，不是站点规模的普遍规律；小分组、别名和可抓取性筛选限制了推断。

横向滑动查看完整图表；精确数值见相邻表格。

旧元数据记录 583/891 份文件发生重定向（65.4%），大小中位数为 1,289 字节。部分重试字段与截断文件尚未验证；这些是历史记录，不是重新核验的工程指标。

规则解读实例

以下历史片段说明规则解读，不证明实际访问，也展示根路径与全站结论的区别。

registrar-servers.com

User-agent: *
Disallow: /

wildcard 限制适用于 /，但文件存在并不证明这是一个内容发布网站。

aka.ms

User-agent: *
Allow:/fwlink/p/
Disallow:/

根路径受限，更具体的 /fwlink/p/ 前缀却被允许，不能称为所有路径封闭。

局限与待复核项

• 只测声明：没有测官方 IP 的实际抓取、机器人日志、索引、训练使用或答案引用。
• 只测根路径：首页规则不代表所有文章、API 或允许例外。
• 抓取状态待复核：HTML、服务端错误、混合重试元数据及解析子样本中的错误文本尚未解决，没有静默重标历史判定。
• 样本偏差：准入是启发式，仍有基础设施与同站点别名，榜单永久 ID 缺失。
• 文件有效性：llms 正文未保留，旧 robots 上限低于 RFC 至少 500 KiB 的解析要求，截断后可能还有规则。
• 时间边界：不能把新抓的 llms 与旧 robots 合称同时点观测；方法加强后的新采集将独立编号。

定义与来源

• RFC 9309
• Tranco
• llms.txt
• 方法与数据字典

数据与勘误

下载冻结的 v1.1 勘误包。CSV 保留 1000 个域名、64 列；统计、图表与正文使用同一版本。数据及派生指标采用 CC BY 4.0，复算代码采用 MIT。公开包复现 CSV 聚合，不包含第三方原始 robots 正文。

• 版本化 CSV
• 数据与离线复算包
• 含分母的指标
• 标识注册表
• 校验值
• 方法与数据字典
• Python 复算脚本
• 勘误记录

解压数据包后执行，Python 3 标准库即可；输出目录须位于输入目录之外。程序不联网，也不需要 API key。

python3 build_ai_crawler_benchmark.py --input . --output ../benchmark-rebuilt-v1.1

引用建议

SearchVitals（2026），《AI 爬虫 robots.txt 政策：2026 年 11 月》，v1.1 勘误版。引用时注明数据版本、根路径范围及分母。 https://searchvitals.com/zh/research/ai-crawler-access-benchmark-2026/v1.1

方法由 SearchVitals 团队维护。勘误请联系 [email protected]，并注明版本及相关记录或指标。

常见问题

屏蔽 GPTBot 会让网站退出 ChatGPT Search 吗？

GPTBot 与 OAI-SearchBot 用途不同，前者涉及训练采集，后者管理自动 Search 抓取。本研究只观察根路径声明，没有测实际收录或引用；允许某个标识不保证进入结果。

ChatGPT-User 和 Perplexity-User 是搜索爬虫吗？

它们支持用户触发的访问。OpenAI 说明 ChatGPT-User 不决定 Search 展示，robots.txt 可能不适用；Perplexity 说明其用户 fetcher 通常忽略 robots.txt。本地匹配 Disallow 不代表实际访问被阻止。

Google-Extended 控制 Google Search 吗？

它是 Gemini/Vertex 训练与 grounding 的用途控制 token，不是独立 HTTP 爬虫。Google 说明它不影响 Search 收录或排名。本研究将 Googlebot 单列为普通搜索对照。

文章里的限制比例测量什么？

历史解析器子样本 891 个域名中，261 个（29.3%）在根路径对 12 个 AI 相关标识的至少一项匹配 Disallow。Googlebot、Bingbot 不计入主指标；这是筛选域名样本，不是全网随机总体估计。

检出 llms.txt 就表示格式有效或引用更多吗？

不表示。旧启发式只检查根 URL 成功、正文长度和开头是否像 HTML，没有归档正文供格式核验。文中的关联既不是因果结论，也不是 AI 引用测量。

能复算这篇报告吗？

版本化数据包包含未改动的 CSV、标识元数据、统计、方法与 Python 标准库脚本。可离线复现聚合与图表，但不会独立验证旧 robots 分类器。