独立的新测量窗口 · v2.0

补充分析 v2.1 · 基于冻结的 v2.0 观测

网站用途补充分析 v2.2 · 1,000 个域名分类

AI 爬虫 robots.txt 政策研究

11 月 10 日的独立采集窗口:保留请求证据,严格区分正文异常与声明规则,固定原有 1,000 个域名。普通搜索基线与失败请求单独报告。

首次发布: · 修订日期:

采集时间窗口(UTC):
—

v2.0 同时重新获取 robots.txt 和 llms.txt,没有把新的 llms 响应与 11 月 9 日的 robots 数据拼接。v1.1 的报告和下载文件继续保留在历史版本中。

查看 v1.1 历史报告

本次窗口的主要观察

29.2%

根路径限制至少一个 AI 相关标识

249 / 854

854 / 1000

正文完整留档且可分析的 robots 响应

146 未知或不可分析

156 / 1000

根目录 llms.txt 响应符合最低 H1 结构

15.6%

主指标包含 12 个 AI 相关爬虫、用户触发抓取器及控制标识,Googlebot 和 Bingbot 作为普通搜索基线单列。Disallow 命中只表示声明规则,不能证明实际拦截、收录或 AI 引用结果。

本文目录

样本与方法

本次 1000 个域名与已发布的 v1.1 名单完全一致,原始来源为 Tranco 榜单 94P72。恢复的永久榜单内容与原归档逐字节一致,所有排名均核对一致;没有根据本次政策结果替换域名。原有筛选条件仍会带来选择偏差。

在同一窗口请求 HTTPS 的 /robots.txt、/llms.txt 和主页,使用统一研究 UA、10 个工作线程,同一主机最多一个并发请求。最多跟随五次重定向,对临时错误最多重试一次,尊重 Retry-After,传输正文和解压后正文均以 1 MiB 为上限。没有浏览器 UA 回退,也没有用独立 HTTP 请求替代 HTTPS 政策。

根路径判定采用不区分大小写的完整产品标识匹配、同名分组合并、通配组回退、百分号编码归一化、最长路径模式优先及同等长度 Allow 优先。空文件、纯注释和已知扩展记录文件可以分析;HTML、明确错误文本、截断和未知编码不进入主要规则分母。每次分析均从归档正文重新计算,并披露与采集时临时分类的差异。

共 5443 次 HTTP 请求、3045 次资源尝试。选中的 robots 尝试中 638 次跟随重定向,2 次通过正式重定向最终到达 HTTP;完整链路及最初的 HTTPS authority 均保留。

Google 开源解析器对照:核验 11956 个根路径判定,发现 2 个差异。这是对本批语料的独立实现检查,不代表所有供应商行为一致,也不等于完整 RFC 一致性认证。

两个差异均是 twitter.com、x.com 的 Google-Extended 规则:Disallow: * 缺少开头的 /,严格匹配标为无效路径,Google 实现则接受。采用对照解析器时主指标不变,仍为 249 / 854(29.2%)。

覆盖与未知状态

404/410 表示观测到端点不存在,其他 4xx、5xx 与网络失败分别记录。RFC 9309 允许爬虫在文件不可用的 4xx 情况下访问,要求在文件因服务器或网络问题不可达时假定禁止;这些协议默认行为均不计为站点主动声明的规则。

robots 请求结果
观察状态域名数
网络或请求失败6
404 / 41043
其他 4xx39
5xx 服务器错误1
请求成功911
成功响应的正文分类
观察状态域名数
不支持或无效的内容编码1
空文件或纯注释9
明确错误文本1
HTML 或挑战页47
仅已知扩展记录3
包含支持的规则464
包含支持的规则及无效行378
正文截断1
无法识别的文本7

各标识规则

标识用途分类根路径受限
OAI-SearchBot搜索索引78 / 854 (9.1%)
ChatGPT-User用户触发访问95 / 854 (11.1%)
GPTBot训练 / 数据采集相关178 / 854 (20.8%)
Googlebot普通搜索对照12 / 854 (1.4%)
Google-Extended用途控制 token153 / 854 (17.9%)
Claude-SearchBot搜索索引91 / 854 (10.7%)
Claude-User用户触发访问91 / 854 (10.7%)
ClaudeBot训练 / 数据采集相关174 / 854 (20.4%)
PerplexityBot搜索索引120 / 854 (14.1%)
Perplexity-User用户触发访问99 / 854 (11.6%)
Bingbot普通搜索对照17 / 854 (2.0%)
Applebot-Extended用途控制 token151 / 854 (17.7%)
Bytespider训练 / 数据采集相关200 / 854 (23.4%)
CCBot训练 / 数据采集相关202 / 854 (23.7%)

223 个受限域名命中具名标识的 Disallow,26 个仅通过通配组受限。

运营商定义不同:ChatGPT-User 不控制 Search 收录,Perplexity-User 通常忽略 robots,Google-Extended 同时涉及训练与 grounding。CCBot 采集开放数据;Bytespider 的具体后续用途在此未获独立核验。请查看运营方来源与方法。

限制广度

受限 AI 相关标识数 / 12域名数
0605
138
217
312
413
522
640
713
86
912
106
1125
1245

排名段观察

各分母只包含原始排名段中 robots 可分析的域名。不同排名段的筛选与未知情况不同,仅作描述,不推断全网总体趋势。

原始 Tranco 排名分母根路径受限
1–1004016 / 40 (40.0%)
101–50017155 / 171 (32.2%)
501–100024974 / 249 (29.7%)
1001–1726394104 / 394 (26.4%)

网站用途与 AI 抓取政策

为固定队列全部 1000 个域名补充主要网站或服务用途标签,991 个已归类,9 个保留未知。原 100 域名试点标签原样继承,其余 900 个按现有知识优先、归档核对、不明确再补抓首页处理,没有替换或剔除域名。

810 个标签依据背景或用户提供的知识,181 个依据页面材料。分类覆盖率既不是准确率,也不是当前官网验证率。标签描述网站或服务用途,不等于公司所属行业或域名所有权。

在本次固定队列中,媒体与出版组有 88 / 147(59.9%)对至少一个所测 AI 标识的根路径求值为 Disallow;社区与用户内容组为 47 / 106(44.3%),软件及在线服务组为 42 / 257(16.3%)。这是描述性差异,不能说明类别导致了政策选择。

表格可左右滑动查看全部列。

按主要用途划分的根路径政策与 llms.txt 最低候选
主要用途全组域名可分析 robotsAI 根路径 Disallow占可分析 robotsllms 候选 / 全组
媒体与出版1651478859.9%16 / 165
社区与用户内容1121064744.3%5 / 112
电商与交易平台1281163530.2%20 / 128
软件、在线服务与文档3032574216.3%80 / 303
企业与品牌信息3426311.5%8 / 34
教育、科研与公共机构756158.2%4 / 75
基础设施与广告投放96631523.8%19 / 96
其他有证据的用途787013仅列计数4 / 78
未知或证据不足981仅列计数0 / 9

政策百分比以各类可分析 robots 为分母;llms 候选以该类全部域名为分母,两者不同。Disallow 包含 12 个所测 AI 标识继承的通配符规则,排除 Googlebot、Bingbot 基线;不等于专门针对 AI,也不证明真实阻断、索引或引用结果。

仅对至少有 20 份可分析 robots 的明确类别展示政策百分比。“其他”包含异质用途,“未知”缺乏明确用途标签,两者仅列计数。20 是展示门槛,不代表统计显著性或全网代表性。

软件及在线服务组有 303 个域名,贡献全部 156 个最低 H1 候选中的 80 个。候选不等于完整格式验证或模型采用,绝对数量也受类别规模影响。

别名与分类边界会改变观察结果吗?

854 个可分析域名映射到 837 个完全相同的最终 robots URL 分组;排除 3 个用途标签冲突组后,保留 834 个 URL 单位。这不是独立公司数。该检查及已记录边界项排除后,下列三组的数值次序仍保留,但不能证明因果关系或消除分类偏差。没有用 robots URL 合并 llms 候选。

表格可左右滑动查看全部列。

主要用途原域名单位同最终 robots URL 合并排除已记录边界项
媒体与出版88 / 147 (59.9%)86 / 145 (59.3%)88 / 144 (61.1%)
社区与用户内容47 / 106 (44.3%)46 / 104 (44.2%)43 / 99 (43.4%)
软件、在线服务与文档42 / 257 (16.3%)40 / 247 (16.2%)41 / 252 (16.3%)

仅使用原归档页面依据时,可比较类别较少:媒体组为 8 / 20(40%),软件及在线服务组为 5 / 41(12.2%);社区组仅有 15 个可分析案例。页面可读性本身也有选择偏差,因此不能据此验证全部知识标签。

分类方法、证据来源与边界

初始标签在合并政策结果前冻结。单一复核者此前已接触研究结果;新 900 个域名的复核卡不含政策字段,但这不是独立标注或严格盲法研究。固定哈希抽取的 40 项复核中,31 项有可读静态正文,9 项仍依赖知识;不据此估算总体准确率。边界标记只覆盖明确记录的案例,不是完整的不确定性评分。

本分类阶段对 14 个仍不明确的域名补抓首页,含重定向共 23 次本地 HTTP 请求。官方网页工具视图单独登记,因为其底层请求数不可见。这些较晚取得的材料没有改写冻结的 robots/llms 采集窗口,原 HTTP 错误及脚本门槛仍有记录。

主要分类依据全组域名
原归档页面172
背景知识809
补抓首页4
证据不足9
官方页面工具视图5
用户提供的知识1
媒体与出版
以编辑资讯、专业出版或编纂参考内容为主;品牌官方编辑博客不等于独立新闻机构。
社区与用户内容
用户/作者发布、分享、协作编辑或评论为主要功能;按内容产生方式而非题材分类。
电商与交易平台
商品、住宿、资产或分类信息交易市场;制造商首页若主要为商店,也归此类。
软件、在线服务与文档
软件、开发文档、账户工具、实时数据工具、游戏或流媒体服务;纯托管端点归基础设施。
企业与品牌信息
企业介绍、产品目录、品牌和业务套餐展示;有次级购买链接不自动归为商店。
教育、科研与公共机构
教育、研究、公共服务或公共利益组织入口;.org 后缀或 official 自称不是身份依据。
基础设施与广告投放
DNS、云主机、CDN、公开 RPC、广告投放及归因基础设施,与普通业务软件区分。
其他有证据的用途
内容/应用目录、投注服务、停放页、示例域名等异质用途,不当作单一行业。
未知或证据不足
知识与现有页面材料均不足以支持明确主要用途;域名仍保留在样本中。
仍未确认的 9 个域名

归档和首页补抓后仍缺乏足够功能证据,未绕过访问限制,也没有仅凭域名词形强行归类。

  • skybridge.click
  • userapi.com
  • expireddomains.com
  • certcenter.com
  • ukdevilz.com
  • theblowers.com
  • luxuretv.com
  • arionplay.com
  • ojogodobicho.com

网站用途数据与复现 · v2.2

训练与搜索标识对照

条件比例的分子为“第一个标识受限、第二个标识未命中 Disallow”的域名数,分母为所有第一个标识受限的域名;不表示这些站点保住了 AI 引用。

GPTBot / OAI-SearchBot

100 / 178(56.2%)个第一个标识受限的域名,没有命中第二个标识的 Disallow。

第一个标识受限第二个标识受限域名数
是是78
是否100
否是0
否否676

ClaudeBot / Claude-SearchBot

83 / 174(47.7%)个第一个标识受限的域名,没有命中第二个标识的 Disallow。

第一个标识受限第二个标识受限域名数
是是91
是否83
否是0
否否680

政策模式

249 个 AI 标识受限域名中,233 个(93.6%)对两个普通搜索基线均未命中根路径 Disallow。这说明声明规则存在区别,不能证明站长意图或爬虫实际访问成功。

下表对全部 854 个可分析域名作互斥分组。训练标识对指 GPTBot/ClaudeBot;搜索标识组指 OAI-SearchBot/Claude-SearchBot/PerplexityBot。“至少一个”均针对对应集合;全部 12 个 AI 标识受限的情况优先单列。这是操作性分组,不推断网站的业务策略。

根路径政策分组精确定义域名数
未命中 AI 标识禁止12 个研究标识均未在 / 命中 Disallow。605
全部 12 个研究标识受限所有研究中的 AI 标识均在 / 命中 Disallow。45
训练标识对与搜索标识组均有受限两个集合各至少一个标识受限,但不是全部 12 个受限。73
训练标识对有受限,搜索标识组无受限至少一个训练标识受限,三个搜索标识均未命中禁止。84
搜索标识组有受限,训练标识对无受限至少一个搜索标识受限,两个训练标识均未命中禁止。8
仅其他研究标识受限其余七个 AI 标识中有受限,训练标识对及搜索标识组均未命中禁止。39
AI 相关标识与普通搜索基线
至少一个 AI 标识受限Googlebot 或 Bingbot 受限域名数
是是16
是否233
否是2
否否603
最常见的精确限制组合

每行表示完整的 12 标识政策签名:未列出的 AI 标识均未命中根路径禁止。六标识组合中包含用途控制标识及注册表中用途未确认的爬虫,不称为“六个训练爬虫”。相同组合也不能证明同一所有者或使用同一模板。

受限标识域名数
OAI-SearchBot, ChatGPT-User, GPTBot, Google-Extended, Claude-SearchBot, Claude-User, ClaudeBot, PerplexityBot, Perplexity-User, Applebot-Extended, Bytespider, CCBot45
GPTBot, Google-Extended, ClaudeBot, Applebot-Extended, Bytespider, CCBot31
Bytespider18
OAI-SearchBot, ChatGPT-User, GPTBot, Google-Extended, Claude-SearchBot, Claude-User, ClaudeBot, PerplexityBot, Perplexity-User, Bytespider, CCBot13
CCBot7

标识配置复核

122 个域名对旧 Claude 标识存在具名根路径禁止,其中 9 个对 ClaudeBot 未命中根路径禁止。这 9 个域名对应 9 份不同的 robots 归档正文,是维护复核名单,不是配置错误数量。

在同一归档正文内对照 claude-web/anthropic-ai 与 ClaudeBot、Claude-SearchBot、Claude-User。当前供应商文档分别列出后三个标识;没有确认站长历史意图或旧字符串是否仍被使用,因此不能一律建议追加新标识。

全部候选域名及其证据
域名ClaudeBot 在 / 的结果匹配分组复核结果
chatgpt.com命中 Allow通配组根路径例外,离线模拟路径仍受限
espn.com无适用根路径规则通配组通配组根路径允许或未命中禁止
trustpilot.com无适用根路径规则具名组当前具名组包含特定路径限制
repubblica.it命中 Allow通配组通配组根路径允许或未命中禁止
skroutz.gr命中 Allow具名组根路径例外,离线模拟路径仍受限
e621.net无适用根路径规则通配组通配组根路径允许或未命中禁止
nikkansports.com无适用根路径规则通配组通配组根路径允许或未命中禁止
ovh.com无适用根路径规则通配组通配组根路径允许或未命中禁止
espn.com.ve无适用根路径规则通配组通配组根路径允许或未命中禁止

chatgpt.com 和 skroutz.gr 两例允许 /$,但离线计算 /__benchmark_scope_probe__ 仍为禁止。Trustpilot 的当前 ClaudeBot 具名组则包含特定路径禁止。这些具体规则说明:根路径差异不足以证明全站允许访问或旧标识配置有误。没有向模拟路径发起请求。

维护者应先确认希望控制的供应商用途,再核对实际生效分组及代表性业务路径,最后决定是否改规则。保留有意设置的根路径例外及特定路径限制。下载的案例数据包含命中规则行号、分组来源和离线模拟结果。

根目录 llms.txt 观察

H1 候选仅表示符合 11 月 10 日核对的 llms.txt 提案的最低结构要求,不是完整格式认证、供应商实际使用证据或全网采用率。只检查根目录端点,可能遗漏子路径文件;MIME 不是唯一判据。

观察状态域名数
最低 H1 结构候选156
响应正文非候选148
根目录端点 404 / 410573
未知或不可分析123

交叉表只使用本次新窗口且 robots 可分析的域名。llms 响应未知单列,不混入未检出组。相关性不能证明发布 llms.txt 改变了 robots 政策或增加了引用。

观察状态分母根路径受限
最低 H1 结构候选15422 / 154 (14.3%)
响应正文非候选9236 / 92 (39.1%)
根目录端点 404 / 410532152 / 532 (28.6%)
未知或不可分析7639 / 76 (51.3%)

llms.txt 实际包含什么

使用 league/commonmark 2.8.2 为全部 156 个最低 H1 候选建立结构清单,对应 152 个最终 URL、151 份不同正文。这是端点和正文计数,不等于独立出版者数量或确认采用 llms.txt 的数量。

结构观察结果
含 CommonMark 可解析超链接144 / 156 (92.3%)
含 H2 标题151 / 156 (96.8%)
含 URL 路径以 .md 结尾的链接27 / 156 (17.3%)
存在多个 H113
首个 H1 仅包含分隔字符1
正文超过 100 KiB10
正文体积中位数(字节)9030.5
正文体积第 90 百分位(最近秩法,字节)48384
结构形态域名数
含 H2 及可解析网页超链接143
含裸 HTTP URL,无可解析超链接12
有可解析网页超链接,但无 H21

12 份没有可解析超链接的文件仍全部含有裸 HTTP URL。Cursor 是裸 URL 文档索引,Porkbun 包含较完整的 API 说明,另一些文件则描述实体、身份或使用政策。CommonMark 链接为零不等于没有实用内容;提案的最低标题要求也不是导航质量分数。

Cursor 的归档索引中有一处静态拼接线索:https://cursor.comhttps://cursor.com/changelog.md,未访问该目标。Unity 的索引为 950,573 字节,用于展示体积差异,不能据此断言 token 成本过高或模型效果较差。首个 H1 仅为分隔符的情况也单列;候选标记不代表已核实项目名称。

针对性归档复核:全部 12 个无超链接案例及最大正文
域名观察与边界
unity3d.com归档索引为 950,573 字节,解析出 2,478 个链接;用于展示文件体积差异,未测量 token 成本、实际效用或模型处理效果。
name.com以裸 URL 提供 API 发现、文档和 agent skill 资源;未解析出 CommonMark 超链接,但并非空文件。
dailymotion.com包含平台背景、主题栏目及纯文本联系方式或资源 URL;未独立验证文件中的业务声明。
cursor.sh以裸 URL 编排文档索引;归档中有一处 cursor.comhttps://cursor.com/changelog.md 拼接线索,仅作静态修复候选,未测试链接是否可达。
porkbun.com包含较完整的 API/agent 说明、端点示例、代码块和裸 URL;没有可解析超链接不等于缺少文档。
flightradar24.com以纯文本提供背景及主要资源 URL;未访问或验证链接目标和事实声明。
kwai.com以纯文本列出多语言路径、帮助中心模式和资源 URL;带占位符的模式不视为已确认页面地址。
xing.com主要提供实体定义、URL 模式和搜索参数,而非 CommonMark 链接列表;占位符不是已验证的目标页面。
moe.video包含公司介绍、问答及裸资源 URL;文件发布不代表供应商会遵循其中指引。
marktplaats.nl包含多语言平台指引、分类资源与纯文本 URL;多个 H1 是结构观察,不自动判定失败。
jusbrasil.com.br在 H1 下以类 YAML 结构描述内容使用、来源归属和 URL 模式;不认证其法律效力或供应商遵守情况。
eltiempo.es大量行以 # 开头并表达使用指引,CommonMark 会将多行解析为标题;内容偏政策说明,不是常规导航索引,未测试执行效果。
nustargame.com包含自述身份及反仿冒指引和裸 URL;未验证所有权、许可或安全声明。

链接提取支持 CommonMark 行内链接、引用链接和尖括号自动链接,排除代码块内的伪链接,并按最终 llms URL 解析相对地址。裸 HTTP 字符串另作词法计数,其中可能包含示例或模板。.md 后缀不能证明目标 MIME 或内容质量。未抓取任何链接目标,不给出语义合规或引用效果评分。

别名与样本复核

按相同最终 robots URL 分组后有 837 个端点;排除其中 0 个政策观测不一致的端点后,244 / 837(29.2%)限制至少一个 AI 标识。按域名计数为 29.2%。这只是端点分组的敏感性结果,不等于企业去重。

已采集全部域名的主页证据,补齐此前缺失的四个审计。自动标签只是待复核候选,不是已确认的业务分类,也不决定样本资格。复核表单独记录历史上 12 个全标识受限域名及四个替换域名;证据无法访问的保留未解决状态。主样本不因此删除域名。

样本复核表(CSV)
域名复核分类证据与限制
reddit.com社区内容归档主页展示 Reddit 社区平台;按域名保留,不视为独立企业归属证明。
registrar-servers.com已迁移网站提示页主页是迁移提示,链接到 Namecheap;该响应不能证明它是内容出版站或 DNS 服务政策。
skybridge.click脚本门槛,未解决标题出现 SMP-74,但可见内容要求启用 JavaScript,业务类别保持未解决。
netcraze.ioDNS 品牌的简薄落地页,未确认简薄落地页使用 CrazeDNS 标题,仅凭该响应无法确认服务用途或企业归属。
sharethrough.com广告业务网站主页标题及可读导航介绍程序化广告服务;继续保留,不按 robots 政策排除。
hihonorcloud.com空白或仅脚本,未解决本次主页响应没有可读标题或实质可见内容,类别保持未解决。
adform.net拒绝访问,未解决主页返回 403,不仅凭域名名称判断业务类别。
mailchi.mp跨域营销落地页主页跳转到 Mailchimp 营销落地页,不作为独立内容出版网站的证据。
btloader.com拒绝访问,未解决主页返回 403,业务类别保持未解决。
stackexchange.com社区内容主页展示 Stack Exchange 问答网络;主页内容和 robots 请求结果分别记录。
aka.ms链接管理落地页主页正式跳转到 Azure 托管的链接管理落地页,不作为企业去重证据。
keirin.jp竞赛资讯主页在 KEIRIN.JP 品牌下展示竞赛资讯与结果,继续保留在固定队列中。
xsmn.mobi彩票结果主页标题和可读结果栏目指向彩票结果网站,补齐此前缺失的审计。
minhngoc.net.vn彩票结果主页展示彩票结果;robots 端点不存在不等于主页观察无效。
kinnser.net登录门户主页跳转至 login.cfm,标题为 WellSky HHH 登录页;标为登录门户,仍保留在域名队列。
espn.com.ve体育媒体主页展示 ESPN Venezuela 体育媒体,补齐第四个此前缺失的审计。

其他信号

字符串出现与语法上识别到的记录分开统计。旧 Claude 标识、Content-Signal 和 __usage_ai-training 不被假定对所有供应商有效;没有测试其实际效果。

标识成功响应中出现字符串可分析文件中识别到记录
__usage_ai-training1010
anthropic-ai141140
claude-web117117
content-signal5125

与 v1.1 的差异

v1.1 修正历史聚合口径,v2.0 同时改变了时间窗口和正文校验方法;差异不能全部解释为网站政策改变。共同可分析子集固定了域名名单,仍受这两项限制。

版本分母根路径受限
v1.1891261 / 891 (29.3%)
v2.0854249 / 854 (29.2%)

共同可分析域名 853 个:历史 AI 标识受限比例 29.1%,本次为 29.1%。

局限与实际应用

  • 这是经筛选的 Tranco 域名队列,不是随机样本,不保证都是内容网站,也不是 1,000 家独立企业。排名段差异仅作描述,不提供全网总体置信区间或因果结论。
  • 只判定根路径 /。供应商对 robots 声明的适用方式不同,控制标识、用户触发抓取器与自主爬虫不能互换。没有用供应商 IP 实测,没有绕过 WAF,也没有测量引用或训练用途。
  • 这是一次客户端采集,使用本地网络及代理路由配置,没有独立核实出口地域或直连源站行为。CDN、地域、UA、临时故障、正文上限和有限重试都可能影响观测;未知状态保持未知,不转换成政策结论。
  • llms.txt 的 H1 候选仍需语义复核,根目录没有文件也不排除子目录存在。文件存在或允许某个爬虫都不能保证收录、排名或引用。

应用到自己的网站时,应按希望控制的供应商用途核对标识,除 / 外检查重要业务路径,并通过服务器日志验证实际访问。将搜索访问、训练偏好、用户触发抓取和 llms 文档分别作决策。

打开检测工具 · llms.txt 的用途 · AI 引用机制

数据与复算

解压 dataset.zip 后,使用 Python 3.10 或以上版本执行下方命令,复算不会发起网络请求。包内包含 robots/llms 响应正文及重试元数据;主页 HTML 保留在本地研究归档中,公开包提供主页分类与响应元数据。派生测量数据采用 CC BY 4.0,第三方响应正文保留原有权利。

python3 analyze.py --run evidence --output ../rebuilt-v2.0

引用方式:SearchVitals,《AI 爬虫 robots.txt 政策研究》,v2.0,2026 年 11 月 10 日。引用数字时请同时标注版本和采集窗口。

补充分析 v2.1 的证据与复算

本分析复用冻结的 v2.0 窗口,原测量与下载不变。请同时下载上方 v2.0 数据 ZIP 和下方补充分析 ZIP;补充包包含冻结的 AST 测量、针对性复核、哈希和离线脚本。独立重新提取 AST 还需要 PHP 与 league/commonmark 2.8.2,详见方法。

python3 deepen.py --base-archive ../v2.0/dataset.zip --features markdown-features.json --reviews review.json --output ../rebuilt-v2.1

网站用途数据与复现 · v2.2

补充包与 v2.0 冻结检测、v2.1 深挖分析分别提供。ZIP 内含标签、判断记录与证据引用、来源/别名敏感性结果、方法和 Python 标准库脚本,不转载原始首页 HTML。逐域名复核说明为中文,机器类别键为英文。

将 v2.2 ZIP 解压到 v2.2/、v2.0 ZIP 解压到 evidence/,在二者的上级目录执行下列命令。脚本读取 evidence/ 中冻结的 v2.0 sites.csv 与 metrics.json,不发起网络请求;输出目录须尚不存在。

python3 v2.2/analyze.py --frozen v2.2 --base evidence --work v2.2 --output rebuilt-site-types

定义与格式来源

方法来源

常见问题

受限比例到底表示什么?

854 份可分析文件中,249 份(29.2%)对 12 个 AI 相关标识中的至少一个在 / 命中 Disallow。普通搜索基线 Googlebot、Bingbot、未知响应及其他路径不属于该指标。

请求失败会被算成 AI 屏蔽吗?

不会。HTTP 结果、正文性质、声明规则和协议默认行为分别记录。403 或 500 响应不等于站点声明了 Disallow。

禁止 GPTBot 会失去 ChatGPT Search 收录吗?

OpenAI 分别定义了用于训练采集的 GPTBot 和用于自动搜索抓取的 OAI-SearchBot。本报告测量声明规则,没有测量 Search 收录或引用。

检测到 llms.txt 能证明采用或提高引用吗?

不能。本版本报告根目录 URL 返回的最低 H1 结构候选,并提供正文供进一步审核;不认证完整格式,不证明供应商实际使用,也没有测量引用提升。

可以直接和 v1.1 比较吗?

域名队列固定,但采集时间和内容校验方法都发生了变化。版本对照只能描述差异,不能从中分离出纯粹的网站政策变化。