独立的新测量窗口 · v2.0
补充分析 v2.1 · 基于冻结的 v2.0 观测
网站用途补充分析 v2.2 · 1,000 个域名分类
AI 爬虫 robots.txt 政策研究
11 月 10 日的独立采集窗口:保留请求证据,严格区分正文异常与声明规则,固定原有 1,000 个域名。普通搜索基线与失败请求单独报告。
首次发布: · 修订日期:
采集时间窗口(UTC):
—
v2.0 同时重新获取 robots.txt 和 llms.txt,没有把新的 llms 响应与 11 月 9 日的 robots 数据拼接。v1.1 的报告和下载文件继续保留在历史版本中。
查看 v1.1 历史报告本次窗口的主要观察
29.2%
根路径限制至少一个 AI 相关标识
249 / 854
854 / 1000
正文完整留档且可分析的 robots 响应
146 未知或不可分析
156 / 1000
根目录 llms.txt 响应符合最低 H1 结构
15.6%
主指标包含 12 个 AI 相关爬虫、用户触发抓取器及控制标识,Googlebot 和 Bingbot 作为普通搜索基线单列。Disallow 命中只表示声明规则,不能证明实际拦截、收录或 AI 引用结果。
本文目录
样本与方法
本次 1000 个域名与已发布的 v1.1 名单完全一致,原始来源为 Tranco 榜单 94P72。恢复的永久榜单内容与原归档逐字节一致,所有排名均核对一致;没有根据本次政策结果替换域名。原有筛选条件仍会带来选择偏差。
在同一窗口请求 HTTPS 的 /robots.txt、/llms.txt 和主页,使用统一研究 UA、10 个工作线程,同一主机最多一个并发请求。最多跟随五次重定向,对临时错误最多重试一次,尊重 Retry-After,传输正文和解压后正文均以 1 MiB 为上限。没有浏览器 UA 回退,也没有用独立 HTTP 请求替代 HTTPS 政策。
根路径判定采用不区分大小写的完整产品标识匹配、同名分组合并、通配组回退、百分号编码归一化、最长路径模式优先及同等长度 Allow 优先。空文件、纯注释和已知扩展记录文件可以分析;HTML、明确错误文本、截断和未知编码不进入主要规则分母。每次分析均从归档正文重新计算,并披露与采集时临时分类的差异。
共 5443 次 HTTP 请求、3045 次资源尝试。选中的 robots 尝试中 638 次跟随重定向,2 次通过正式重定向最终到达 HTTP;完整链路及最初的 HTTPS authority 均保留。
Google 开源解析器对照:核验 11956 个根路径判定,发现 2 个差异。这是对本批语料的独立实现检查,不代表所有供应商行为一致,也不等于完整 RFC 一致性认证。
两个差异均是 twitter.com、x.com 的 Google-Extended 规则:Disallow: * 缺少开头的 /,严格匹配标为无效路径,Google 实现则接受。采用对照解析器时主指标不变,仍为 249 / 854(29.2%)。
覆盖与未知状态
404/410 表示观测到端点不存在,其他 4xx、5xx 与网络失败分别记录。RFC 9309 允许爬虫在文件不可用的 4xx 情况下访问,要求在文件因服务器或网络问题不可达时假定禁止;这些协议默认行为均不计为站点主动声明的规则。
| 观察状态 | 域名数 |
|---|---|
| 网络或请求失败 | 6 |
| 404 / 410 | 43 |
| 其他 4xx | 39 |
| 5xx 服务器错误 | 1 |
| 请求成功 | 911 |
| 观察状态 | 域名数 |
|---|---|
| 不支持或无效的内容编码 | 1 |
| 空文件或纯注释 | 9 |
| 明确错误文本 | 1 |
| HTML 或挑战页 | 47 |
| 仅已知扩展记录 | 3 |
| 包含支持的规则 | 464 |
| 包含支持的规则及无效行 | 378 |
| 正文截断 | 1 |
| 无法识别的文本 | 7 |
各标识规则
| 标识 | 用途分类 | 根路径受限 |
|---|---|---|
| OAI-SearchBot | 搜索索引 | 78 / 854 (9.1%) |
| ChatGPT-User | 用户触发访问 | 95 / 854 (11.1%) |
| GPTBot | 训练 / 数据采集相关 | 178 / 854 (20.8%) |
| Googlebot | 普通搜索对照 | 12 / 854 (1.4%) |
| Google-Extended | 用途控制 token | 153 / 854 (17.9%) |
| Claude-SearchBot | 搜索索引 | 91 / 854 (10.7%) |
| Claude-User | 用户触发访问 | 91 / 854 (10.7%) |
| ClaudeBot | 训练 / 数据采集相关 | 174 / 854 (20.4%) |
| PerplexityBot | 搜索索引 | 120 / 854 (14.1%) |
| Perplexity-User | 用户触发访问 | 99 / 854 (11.6%) |
| Bingbot | 普通搜索对照 | 17 / 854 (2.0%) |
| Applebot-Extended | 用途控制 token | 151 / 854 (17.7%) |
| Bytespider | 训练 / 数据采集相关 | 200 / 854 (23.4%) |
| CCBot | 训练 / 数据采集相关 | 202 / 854 (23.7%) |
223 个受限域名命中具名标识的 Disallow,26 个仅通过通配组受限。
运营商定义不同:ChatGPT-User 不控制 Search 收录,Perplexity-User 通常忽略 robots,Google-Extended 同时涉及训练与 grounding。CCBot 采集开放数据;Bytespider 的具体后续用途在此未获独立核验。请查看运营方来源与方法。
限制广度
| 受限 AI 相关标识数 / 12 | 域名数 |
|---|---|
| 0 | 605 |
| 1 | 38 |
| 2 | 17 |
| 3 | 12 |
| 4 | 13 |
| 5 | 22 |
| 6 | 40 |
| 7 | 13 |
| 8 | 6 |
| 9 | 12 |
| 10 | 6 |
| 11 | 25 |
| 12 | 45 |
排名段观察
各分母只包含原始排名段中 robots 可分析的域名。不同排名段的筛选与未知情况不同,仅作描述,不推断全网总体趋势。
| 原始 Tranco 排名 | 分母 | 根路径受限 |
|---|---|---|
| 1–100 | 40 | 16 / 40 (40.0%) |
| 101–500 | 171 | 55 / 171 (32.2%) |
| 501–1000 | 249 | 74 / 249 (29.7%) |
| 1001–1726 | 394 | 104 / 394 (26.4%) |
网站用途与 AI 抓取政策
为固定队列全部 1000 个域名补充主要网站或服务用途标签,991 个已归类,9 个保留未知。原 100 域名试点标签原样继承,其余 900 个按现有知识优先、归档核对、不明确再补抓首页处理,没有替换或剔除域名。
810 个标签依据背景或用户提供的知识,181 个依据页面材料。分类覆盖率既不是准确率,也不是当前官网验证率。标签描述网站或服务用途,不等于公司所属行业或域名所有权。
在本次固定队列中,媒体与出版组有 88 / 147(59.9%)对至少一个所测 AI 标识的根路径求值为 Disallow;社区与用户内容组为 47 / 106(44.3%),软件及在线服务组为 42 / 257(16.3%)。这是描述性差异,不能说明类别导致了政策选择。
表格可左右滑动查看全部列。
| 主要用途 | 全组域名 | 可分析 robots | AI 根路径 Disallow | 占可分析 robots | llms 候选 / 全组 |
|---|---|---|---|---|---|
| 媒体与出版 | 165 | 147 | 88 | 59.9% | 16 / 165 |
| 社区与用户内容 | 112 | 106 | 47 | 44.3% | 5 / 112 |
| 电商与交易平台 | 128 | 116 | 35 | 30.2% | 20 / 128 |
| 软件、在线服务与文档 | 303 | 257 | 42 | 16.3% | 80 / 303 |
| 企业与品牌信息 | 34 | 26 | 3 | 11.5% | 8 / 34 |
| 教育、科研与公共机构 | 75 | 61 | 5 | 8.2% | 4 / 75 |
| 基础设施与广告投放 | 96 | 63 | 15 | 23.8% | 19 / 96 |
| 其他有证据的用途 | 78 | 70 | 13 | 仅列计数 | 4 / 78 |
| 未知或证据不足 | 9 | 8 | 1 | 仅列计数 | 0 / 9 |
政策百分比以各类可分析 robots 为分母;llms 候选以该类全部域名为分母,两者不同。Disallow 包含 12 个所测 AI 标识继承的通配符规则,排除 Googlebot、Bingbot 基线;不等于专门针对 AI,也不证明真实阻断、索引或引用结果。
仅对至少有 20 份可分析 robots 的明确类别展示政策百分比。“其他”包含异质用途,“未知”缺乏明确用途标签,两者仅列计数。20 是展示门槛,不代表统计显著性或全网代表性。
软件及在线服务组有 303 个域名,贡献全部 156 个最低 H1 候选中的 80 个。候选不等于完整格式验证或模型采用,绝对数量也受类别规模影响。
别名与分类边界会改变观察结果吗?
854 个可分析域名映射到 837 个完全相同的最终 robots URL 分组;排除 3 个用途标签冲突组后,保留 834 个 URL 单位。这不是独立公司数。该检查及已记录边界项排除后,下列三组的数值次序仍保留,但不能证明因果关系或消除分类偏差。没有用 robots URL 合并 llms 候选。
表格可左右滑动查看全部列。
| 主要用途 | 原域名单位 | 同最终 robots URL 合并 | 排除已记录边界项 |
|---|---|---|---|
| 媒体与出版 | 88 / 147 (59.9%) | 86 / 145 (59.3%) | 88 / 144 (61.1%) |
| 社区与用户内容 | 47 / 106 (44.3%) | 46 / 104 (44.2%) | 43 / 99 (43.4%) |
| 软件、在线服务与文档 | 42 / 257 (16.3%) | 40 / 247 (16.2%) | 41 / 252 (16.3%) |
仅使用原归档页面依据时,可比较类别较少:媒体组为 8 / 20(40%),软件及在线服务组为 5 / 41(12.2%);社区组仅有 15 个可分析案例。页面可读性本身也有选择偏差,因此不能据此验证全部知识标签。
分类方法、证据来源与边界
初始标签在合并政策结果前冻结。单一复核者此前已接触研究结果;新 900 个域名的复核卡不含政策字段,但这不是独立标注或严格盲法研究。固定哈希抽取的 40 项复核中,31 项有可读静态正文,9 项仍依赖知识;不据此估算总体准确率。边界标记只覆盖明确记录的案例,不是完整的不确定性评分。
本分类阶段对 14 个仍不明确的域名补抓首页,含重定向共 23 次本地 HTTP 请求。官方网页工具视图单独登记,因为其底层请求数不可见。这些较晚取得的材料没有改写冻结的 robots/llms 采集窗口,原 HTTP 错误及脚本门槛仍有记录。
| 主要分类依据 | 全组域名 |
|---|---|
| 原归档页面 | 172 |
| 背景知识 | 809 |
| 补抓首页 | 4 |
| 证据不足 | 9 |
| 官方页面工具视图 | 5 |
| 用户提供的知识 | 1 |
- 媒体与出版
- 以编辑资讯、专业出版或编纂参考内容为主;品牌官方编辑博客不等于独立新闻机构。
- 社区与用户内容
- 用户/作者发布、分享、协作编辑或评论为主要功能;按内容产生方式而非题材分类。
- 电商与交易平台
- 商品、住宿、资产或分类信息交易市场;制造商首页若主要为商店,也归此类。
- 软件、在线服务与文档
- 软件、开发文档、账户工具、实时数据工具、游戏或流媒体服务;纯托管端点归基础设施。
- 企业与品牌信息
- 企业介绍、产品目录、品牌和业务套餐展示;有次级购买链接不自动归为商店。
- 教育、科研与公共机构
- 教育、研究、公共服务或公共利益组织入口;.org 后缀或 official 自称不是身份依据。
- 基础设施与广告投放
- DNS、云主机、CDN、公开 RPC、广告投放及归因基础设施,与普通业务软件区分。
- 其他有证据的用途
- 内容/应用目录、投注服务、停放页、示例域名等异质用途,不当作单一行业。
- 未知或证据不足
- 知识与现有页面材料均不足以支持明确主要用途;域名仍保留在样本中。
仍未确认的 9 个域名
归档和首页补抓后仍缺乏足够功能证据,未绕过访问限制,也没有仅凭域名词形强行归类。
- skybridge.click
- userapi.com
- expireddomains.com
- certcenter.com
- ukdevilz.com
- theblowers.com
- luxuretv.com
- arionplay.com
- ojogodobicho.com
训练与搜索标识对照
条件比例的分子为“第一个标识受限、第二个标识未命中 Disallow”的域名数,分母为所有第一个标识受限的域名;不表示这些站点保住了 AI 引用。
GPTBot / OAI-SearchBot
100 / 178(56.2%)个第一个标识受限的域名,没有命中第二个标识的 Disallow。
| 第一个标识受限 | 第二个标识受限 | 域名数 |
|---|---|---|
| 是 | 是 | 78 |
| 是 | 否 | 100 |
| 否 | 是 | 0 |
| 否 | 否 | 676 |
ClaudeBot / Claude-SearchBot
83 / 174(47.7%)个第一个标识受限的域名,没有命中第二个标识的 Disallow。
| 第一个标识受限 | 第二个标识受限 | 域名数 |
|---|---|---|
| 是 | 是 | 91 |
| 是 | 否 | 83 |
| 否 | 是 | 0 |
| 否 | 否 | 680 |
政策模式
249 个 AI 标识受限域名中,233 个(93.6%)对两个普通搜索基线均未命中根路径 Disallow。这说明声明规则存在区别,不能证明站长意图或爬虫实际访问成功。
下表对全部 854 个可分析域名作互斥分组。训练标识对指 GPTBot/ClaudeBot;搜索标识组指 OAI-SearchBot/Claude-SearchBot/PerplexityBot。“至少一个”均针对对应集合;全部 12 个 AI 标识受限的情况优先单列。这是操作性分组,不推断网站的业务策略。
| 根路径政策分组 | 精确定义 | 域名数 |
|---|---|---|
| 未命中 AI 标识禁止 | 12 个研究标识均未在 / 命中 Disallow。 | 605 |
| 全部 12 个研究标识受限 | 所有研究中的 AI 标识均在 / 命中 Disallow。 | 45 |
| 训练标识对与搜索标识组均有受限 | 两个集合各至少一个标识受限,但不是全部 12 个受限。 | 73 |
| 训练标识对有受限,搜索标识组无受限 | 至少一个训练标识受限,三个搜索标识均未命中禁止。 | 84 |
| 搜索标识组有受限,训练标识对无受限 | 至少一个搜索标识受限,两个训练标识均未命中禁止。 | 8 |
| 仅其他研究标识受限 | 其余七个 AI 标识中有受限,训练标识对及搜索标识组均未命中禁止。 | 39 |
| 至少一个 AI 标识受限 | Googlebot 或 Bingbot 受限 | 域名数 |
|---|---|---|
| 是 | 是 | 16 |
| 是 | 否 | 233 |
| 否 | 是 | 2 |
| 否 | 否 | 603 |
最常见的精确限制组合
每行表示完整的 12 标识政策签名:未列出的 AI 标识均未命中根路径禁止。六标识组合中包含用途控制标识及注册表中用途未确认的爬虫,不称为“六个训练爬虫”。相同组合也不能证明同一所有者或使用同一模板。
| 受限标识 | 域名数 |
|---|---|
| OAI-SearchBot, ChatGPT-User, GPTBot, Google-Extended, Claude-SearchBot, Claude-User, ClaudeBot, PerplexityBot, Perplexity-User, Applebot-Extended, Bytespider, CCBot | 45 |
| GPTBot, Google-Extended, ClaudeBot, Applebot-Extended, Bytespider, CCBot | 31 |
| Bytespider | 18 |
| OAI-SearchBot, ChatGPT-User, GPTBot, Google-Extended, Claude-SearchBot, Claude-User, ClaudeBot, PerplexityBot, Perplexity-User, Bytespider, CCBot | 13 |
| CCBot | 7 |
标识配置复核
122 个域名对旧 Claude 标识存在具名根路径禁止,其中 9 个对 ClaudeBot 未命中根路径禁止。这 9 个域名对应 9 份不同的 robots 归档正文,是维护复核名单,不是配置错误数量。
在同一归档正文内对照 claude-web/anthropic-ai 与 ClaudeBot、Claude-SearchBot、Claude-User。当前供应商文档分别列出后三个标识;没有确认站长历史意图或旧字符串是否仍被使用,因此不能一律建议追加新标识。
| 域名 | ClaudeBot 在 / 的结果 | 匹配分组 | 复核结果 |
|---|---|---|---|
| chatgpt.com | 命中 Allow | 通配组 | 根路径例外,离线模拟路径仍受限 |
| espn.com | 无适用根路径规则 | 通配组 | 通配组根路径允许或未命中禁止 |
| trustpilot.com | 无适用根路径规则 | 具名组 | 当前具名组包含特定路径限制 |
| repubblica.it | 命中 Allow | 通配组 | 通配组根路径允许或未命中禁止 |
| skroutz.gr | 命中 Allow | 具名组 | 根路径例外,离线模拟路径仍受限 |
| e621.net | 无适用根路径规则 | 通配组 | 通配组根路径允许或未命中禁止 |
| nikkansports.com | 无适用根路径规则 | 通配组 | 通配组根路径允许或未命中禁止 |
| ovh.com | 无适用根路径规则 | 通配组 | 通配组根路径允许或未命中禁止 |
| espn.com.ve | 无适用根路径规则 | 通配组 | 通配组根路径允许或未命中禁止 |
chatgpt.com 和 skroutz.gr 两例允许 /$,但离线计算 /__benchmark_scope_probe__ 仍为禁止。Trustpilot 的当前 ClaudeBot 具名组则包含特定路径禁止。这些具体规则说明:根路径差异不足以证明全站允许访问或旧标识配置有误。没有向模拟路径发起请求。
维护者应先确认希望控制的供应商用途,再核对实际生效分组及代表性业务路径,最后决定是否改规则。保留有意设置的根路径例外及特定路径限制。下载的案例数据包含命中规则行号、分组来源和离线模拟结果。
根目录 llms.txt 观察
H1 候选仅表示符合 11 月 10 日核对的 llms.txt 提案的最低结构要求,不是完整格式认证、供应商实际使用证据或全网采用率。只检查根目录端点,可能遗漏子路径文件;MIME 不是唯一判据。
| 观察状态 | 域名数 |
|---|---|
| 最低 H1 结构候选 | 156 |
| 响应正文非候选 | 148 |
| 根目录端点 404 / 410 | 573 |
| 未知或不可分析 | 123 |
交叉表只使用本次新窗口且 robots 可分析的域名。llms 响应未知单列,不混入未检出组。相关性不能证明发布 llms.txt 改变了 robots 政策或增加了引用。
| 观察状态 | 分母 | 根路径受限 |
|---|---|---|
| 最低 H1 结构候选 | 154 | 22 / 154 (14.3%) |
| 响应正文非候选 | 92 | 36 / 92 (39.1%) |
| 根目录端点 404 / 410 | 532 | 152 / 532 (28.6%) |
| 未知或不可分析 | 76 | 39 / 76 (51.3%) |
llms.txt 实际包含什么
使用 league/commonmark 2.8.2 为全部 156 个最低 H1 候选建立结构清单,对应 152 个最终 URL、151 份不同正文。这是端点和正文计数,不等于独立出版者数量或确认采用 llms.txt 的数量。
| 结构观察 | 结果 |
|---|---|
| 含 CommonMark 可解析超链接 | 144 / 156 (92.3%) |
| 含 H2 标题 | 151 / 156 (96.8%) |
| 含 URL 路径以 .md 结尾的链接 | 27 / 156 (17.3%) |
| 存在多个 H1 | 13 |
| 首个 H1 仅包含分隔字符 | 1 |
| 正文超过 100 KiB | 10 |
| 正文体积中位数(字节) | 9030.5 |
| 正文体积第 90 百分位(最近秩法,字节) | 48384 |
| 结构形态 | 域名数 |
|---|---|
| 含 H2 及可解析网页超链接 | 143 |
| 含裸 HTTP URL,无可解析超链接 | 12 |
| 有可解析网页超链接,但无 H2 | 1 |
12 份没有可解析超链接的文件仍全部含有裸 HTTP URL。Cursor 是裸 URL 文档索引,Porkbun 包含较完整的 API 说明,另一些文件则描述实体、身份或使用政策。CommonMark 链接为零不等于没有实用内容;提案的最低标题要求也不是导航质量分数。
Cursor 的归档索引中有一处静态拼接线索:https://cursor.comhttps://cursor.com/changelog.md,未访问该目标。Unity 的索引为 950,573 字节,用于展示体积差异,不能据此断言 token 成本过高或模型效果较差。首个 H1 仅为分隔符的情况也单列;候选标记不代表已核实项目名称。
针对性归档复核:全部 12 个无超链接案例及最大正文
| 域名 | 观察与边界 |
|---|---|
| unity3d.com | 归档索引为 950,573 字节,解析出 2,478 个链接;用于展示文件体积差异,未测量 token 成本、实际效用或模型处理效果。 |
| name.com | 以裸 URL 提供 API 发现、文档和 agent skill 资源;未解析出 CommonMark 超链接,但并非空文件。 |
| dailymotion.com | 包含平台背景、主题栏目及纯文本联系方式或资源 URL;未独立验证文件中的业务声明。 |
| cursor.sh | 以裸 URL 编排文档索引;归档中有一处 cursor.comhttps://cursor.com/changelog.md 拼接线索,仅作静态修复候选,未测试链接是否可达。 |
| porkbun.com | 包含较完整的 API/agent 说明、端点示例、代码块和裸 URL;没有可解析超链接不等于缺少文档。 |
| flightradar24.com | 以纯文本提供背景及主要资源 URL;未访问或验证链接目标和事实声明。 |
| kwai.com | 以纯文本列出多语言路径、帮助中心模式和资源 URL;带占位符的模式不视为已确认页面地址。 |
| xing.com | 主要提供实体定义、URL 模式和搜索参数,而非 CommonMark 链接列表;占位符不是已验证的目标页面。 |
| moe.video | 包含公司介绍、问答及裸资源 URL;文件发布不代表供应商会遵循其中指引。 |
| marktplaats.nl | 包含多语言平台指引、分类资源与纯文本 URL;多个 H1 是结构观察,不自动判定失败。 |
| jusbrasil.com.br | 在 H1 下以类 YAML 结构描述内容使用、来源归属和 URL 模式;不认证其法律效力或供应商遵守情况。 |
| eltiempo.es | 大量行以 # 开头并表达使用指引,CommonMark 会将多行解析为标题;内容偏政策说明,不是常规导航索引,未测试执行效果。 |
| nustargame.com | 包含自述身份及反仿冒指引和裸 URL;未验证所有权、许可或安全声明。 |
链接提取支持 CommonMark 行内链接、引用链接和尖括号自动链接,排除代码块内的伪链接,并按最终 llms URL 解析相对地址。裸 HTTP 字符串另作词法计数,其中可能包含示例或模板。.md 后缀不能证明目标 MIME 或内容质量。未抓取任何链接目标,不给出语义合规或引用效果评分。
别名与样本复核
按相同最终 robots URL 分组后有 837 个端点;排除其中 0 个政策观测不一致的端点后,244 / 837(29.2%)限制至少一个 AI 标识。按域名计数为 29.2%。这只是端点分组的敏感性结果,不等于企业去重。
已采集全部域名的主页证据,补齐此前缺失的四个审计。自动标签只是待复核候选,不是已确认的业务分类,也不决定样本资格。复核表单独记录历史上 12 个全标识受限域名及四个替换域名;证据无法访问的保留未解决状态。主样本不因此删除域名。
样本复核表(CSV)
| 域名 | 复核分类 | 证据与限制 |
|---|---|---|
| reddit.com | 社区内容 | 归档主页展示 Reddit 社区平台;按域名保留,不视为独立企业归属证明。 |
| registrar-servers.com | 已迁移网站提示页 | 主页是迁移提示,链接到 Namecheap;该响应不能证明它是内容出版站或 DNS 服务政策。 |
| skybridge.click | 脚本门槛,未解决 | 标题出现 SMP-74,但可见内容要求启用 JavaScript,业务类别保持未解决。 |
| netcraze.io | DNS 品牌的简薄落地页,未确认 | 简薄落地页使用 CrazeDNS 标题,仅凭该响应无法确认服务用途或企业归属。 |
| sharethrough.com | 广告业务网站 | 主页标题及可读导航介绍程序化广告服务;继续保留,不按 robots 政策排除。 |
| hihonorcloud.com | 空白或仅脚本,未解决 | 本次主页响应没有可读标题或实质可见内容,类别保持未解决。 |
| adform.net | 拒绝访问,未解决 | 主页返回 403,不仅凭域名名称判断业务类别。 |
| mailchi.mp | 跨域营销落地页 | 主页跳转到 Mailchimp 营销落地页,不作为独立内容出版网站的证据。 |
| btloader.com | 拒绝访问,未解决 | 主页返回 403,业务类别保持未解决。 |
| stackexchange.com | 社区内容 | 主页展示 Stack Exchange 问答网络;主页内容和 robots 请求结果分别记录。 |
| aka.ms | 链接管理落地页 | 主页正式跳转到 Azure 托管的链接管理落地页,不作为企业去重证据。 |
| keirin.jp | 竞赛资讯 | 主页在 KEIRIN.JP 品牌下展示竞赛资讯与结果,继续保留在固定队列中。 |
| xsmn.mobi | 彩票结果 | 主页标题和可读结果栏目指向彩票结果网站,补齐此前缺失的审计。 |
| minhngoc.net.vn | 彩票结果 | 主页展示彩票结果;robots 端点不存在不等于主页观察无效。 |
| kinnser.net | 登录门户 | 主页跳转至 login.cfm,标题为 WellSky HHH 登录页;标为登录门户,仍保留在域名队列。 |
| espn.com.ve | 体育媒体 | 主页展示 ESPN Venezuela 体育媒体,补齐第四个此前缺失的审计。 |
其他信号
字符串出现与语法上识别到的记录分开统计。旧 Claude 标识、Content-Signal 和 __usage_ai-training 不被假定对所有供应商有效;没有测试其实际效果。
| 标识 | 成功响应中出现字符串 | 可分析文件中识别到记录 |
|---|---|---|
__usage_ai-training | 10 | 10 |
anthropic-ai | 141 | 140 |
claude-web | 117 | 117 |
content-signal | 51 | 25 |
与 v1.1 的差异
v1.1 修正历史聚合口径,v2.0 同时改变了时间窗口和正文校验方法;差异不能全部解释为网站政策改变。共同可分析子集固定了域名名单,仍受这两项限制。
| 版本 | 分母 | 根路径受限 |
|---|---|---|
| v1.1 | 891 | 261 / 891 (29.3%) |
| v2.0 | 854 | 249 / 854 (29.2%) |
共同可分析域名 853 个:历史 AI 标识受限比例 29.1%,本次为 29.1%。
局限与实际应用
- 这是经筛选的 Tranco 域名队列,不是随机样本,不保证都是内容网站,也不是 1,000 家独立企业。排名段差异仅作描述,不提供全网总体置信区间或因果结论。
- 只判定根路径 /。供应商对 robots 声明的适用方式不同,控制标识、用户触发抓取器与自主爬虫不能互换。没有用供应商 IP 实测,没有绕过 WAF,也没有测量引用或训练用途。
- 这是一次客户端采集,使用本地网络及代理路由配置,没有独立核实出口地域或直连源站行为。CDN、地域、UA、临时故障、正文上限和有限重试都可能影响观测;未知状态保持未知,不转换成政策结论。
- llms.txt 的 H1 候选仍需语义复核,根目录没有文件也不排除子目录存在。文件存在或允许某个爬虫都不能保证收录、排名或引用。
应用到自己的网站时,应按希望控制的供应商用途核对标识,除 / 外检查重要业务路径,并通过服务器日志验证实际访问。将搜索访问、训练偏好、用户触发抓取和 llms 文档分别作决策。
打开检测工具 · llms.txt 的用途 · AI 引用机制
数据与复算
解压 dataset.zip 后,使用 Python 3.10 或以上版本执行下方命令,复算不会发起网络请求。包内包含 robots/llms 响应正文及重试元数据;主页 HTML 保留在本地研究归档中,公开包提供主页分类与响应元数据。派生测量数据采用 CC BY 4.0,第三方响应正文保留原有权利。
python3 analyze.py --run evidence --output ../rebuilt-v2.0引用方式:SearchVitals,《AI 爬虫 robots.txt 政策研究》,v2.0,2026 年 11 月 10 日。引用数字时请同时标注版本和采集窗口。
补充分析 v2.1 的证据与复算
本分析复用冻结的 v2.0 窗口,原测量与下载不变。请同时下载上方 v2.0 数据 ZIP 和下方补充分析 ZIP;补充包包含冻结的 AST 测量、针对性复核、哈希和离线脚本。独立重新提取 AST 还需要 PHP 与 league/commonmark 2.8.2,详见方法。
python3 deepen.py --base-archive ../v2.0/dataset.zip --features markdown-features.json --reviews review.json --output ../rebuilt-v2.1
网站用途数据与复现 · v2.2
补充包与 v2.0 冻结检测、v2.1 深挖分析分别提供。ZIP 内含标签、判断记录与证据引用、来源/别名敏感性结果、方法和 Python 标准库脚本,不转载原始首页 HTML。逐域名复核说明为中文,机器类别键为英文。
- 1,000 域名分类(CSV)
- 分类与 v2.0 政策合并明细(CSV)
- 类别计数与分母(CSV)
- 完整汇总与敏感性分析(JSON)
- 同最终 robots URL 分组(CSV)
- 各 AI 标识与类别的政策计数(CSV)
- 排名段的类别组成(CSV)
- 分类方法与限制
- 完整网站用途分析包(ZIP)
- 文件校验值(JSON)
- 分析复现脚本(Python)
将 v2.2 ZIP 解压到 v2.2/、v2.0 ZIP 解压到 evidence/,在二者的上级目录执行下列命令。脚本读取 evidence/ 中冻结的 v2.0 sites.csv 与 metrics.json,不发起网络请求;输出目录须尚不存在。
python3 v2.2/analyze.py --frozen v2.2 --base evidence --work v2.2 --output rebuilt-site-types
定义与格式来源
方法来源
常见问题
受限比例到底表示什么?
854 份可分析文件中,249 份(29.2%)对 12 个 AI 相关标识中的至少一个在 / 命中 Disallow。普通搜索基线 Googlebot、Bingbot、未知响应及其他路径不属于该指标。
请求失败会被算成 AI 屏蔽吗?
不会。HTTP 结果、正文性质、声明规则和协议默认行为分别记录。403 或 500 响应不等于站点声明了 Disallow。
禁止 GPTBot 会失去 ChatGPT Search 收录吗?
OpenAI 分别定义了用于训练采集的 GPTBot 和用于自动搜索抓取的 OAI-SearchBot。本报告测量声明规则,没有测量 Search 收录或引用。
检测到 llms.txt 能证明采用或提高引用吗?
不能。本版本报告根目录 URL 返回的最低 H1 结构候选,并提供正文供进一步审核;不认证完整格式,不证明供应商实际使用,也没有测量引用提升。
可以直接和 v1.1 比较吗?
域名队列固定,但采集时间和内容校验方法都发生了变化。版本对照只能描述差异,不能从中分离出纯粹的网站政策变化。