# v2.2：网站用途与 AI 抓取政策

SearchVitals · 2026-11-10 · 分析与标签使用 CC BY 4.0。

本补充分析以 v2.0 冻结观察为基础，没有重新采集 robots/llms。内部标签版本为 `site-types-full-v3`，公开发布版本为 `v2.2`；v2.0、v2.1 独立保留。

## 队列、分类与来源

完整保留原 1,000 域名队列。原检测窗口为 2026-11-10 UTC 01:04:31.278–01:18:54.938：854 份可分析 robots、249 个 AI 根路径 Disallow、156 个 llms 最低 H1 候选。没有因分类或政策结果而替换、剔除域名。

原知识辅助试点的 100 个标签原样继承。其余 900 个先按知识判断 790 个，110 个转归档/首页复核；针对边界复核修订第一遍知识标签 19 个。另将初始 790 个按 `SHA256(full-type-qc-2026-11-10\nDOMAIN)` 升序抽取前 40 个进行可复现的同人复核：31 个有可读静态正文，9 个不能凭正文独立验证，其中 3 个标签被修订。这不是独立标注一致性研究，也不据此估算总体准确率。

初始分类在合并政策结果前冻结。复核者此前已接触研究，新 900 个域名的复核卡不含政策字段，但不能宣称严格盲法。冻结后有一次元数据修正：不将本地拦截响应的哈希充作官方工具视图的证据；类别变动为 0。见 `classification-freeze.json`、`freeze-revision.json`。

全部 1,000 个中，991 个已归类、9 个未知。主要依据为原归档页面 172、背景知识 809、用户提供的知识 1、补抓首页 4、官方页面工具视图 5、证据不足 9。即 810 个知识判断、181 个页面材料判断；分类覆盖率不是准确率或官网验证率。4 个补抓首页案例中 3 个、5 个官方视图案例中 2 个继承自试点。

本扩展阶段对 14 个不明确域名各补抓一次首页，含重定向共 23 次本地 HTTP 请求，UTC 08:06:40.593–08:06:58.104。官方工具底层请求数不可见，单独登记，不混入这 23 次。较晚取得的材料没有改写原 robots/llms 窗口。原 HTTP 状态、脚本门槛、来源与哈希保留；工具能看到官方说明不代表本地拦截响应变成成功正文。

## 分类定义与边界

单位为域名，每域名一个主要网站/服务用途标签，不等于企业、所有权或正式行业代码。

- **editorial_media 媒体与出版**：编辑资讯、专业出版、编纂参考内容；含官方编辑博客，不意味着独立新闻机构。
- **community_ugc 社区与用户内容**：用户/作者发布、分享、协作编辑或评论为主要功能；按内容产生方式而非题材分类。
- **commerce_marketplace 电商与交易平台**：商品、住宿、资产、分类信息市场；制造商首页若主要为商店也归此类。
- **software_service 软件、在线服务与文档**：软件、开发文档、账户工具、实时数据、游戏和流媒体；纯托管端点归基础设施。
- **corporate_brand 企业与品牌信息**：公司介绍、产品目录、品牌和业务套餐展示；次级购买链接不自动构成主要商店。
- **institution_public 教育、科研与公共机构**：教育、研究、公共服务和公共利益组织；.org 后缀或 official 自称不构成机构身份依据。
- **infrastructure_adtech 基础设施与广告投放**：DNS、云主机、CDN、公开 RPC、广告投放与归因基础设施，与普通业务软件区分。
- **other_known 其他有证据的用途**：内容/应用目录、投注、停放页、示例域名等异质用途，不当作单一行业。
- **unknown 未知或证据不足**：现有知识和页面材料均不足以支持明确主要用途，仍保留在队列中。

重定向目的地可辅助判断当前功能，但不能证明原域名所有权或所有子域用途。netcraze.io 结合简薄首页的 CrazeDNS 品牌名和相关官方服务说明推断功能；该说明没有直接列出 .io，保留边界标记。混合功能的归类仍有主观性，原试点与扩展之间也可能有边界差异。`borderline_review_flag` 仅记录明确指出的案例，不是完整风险评分；逐站说明为 `note_zh` 中文字段，机器类别键为英文。

## 分母与解释限制

主要政策指标是原协议中 12 个 AI 抓取/访问/控制标识至少一个对 `/` 求值为 Disallow，包含通配符继承，排除 Googlebot、Bingbot 基线。不代表专门针对 AI，也不验证真实爬虫身份、网络阻断、收录、引用或站长意图。

类别政策比例的分母为该类可分析 robots；llms 最低 H1 候选的分母为该类全部域名。llms 观察未知另列，候选不等于完整规范验证、提供商采用或引用效果。

至少有 20 份可分析 robots 的明确类别才展示政策百分比；“其他”和“未知”只列计数。这是展示门槛，不是显著性检验。固定热门队列、原始入选过滤、知识与页面混合来源、地区/语言入口及同主体多域名均限制外推，不作因果、全网行业比例或代表性抽样置信区间的推断。

## 稳健性检查

854 个可分析域名映射到 837 个完全相同的最终 robots URL 分组。3 组用途冲突为 vk.com/userapi.com、magnific.com/freepik.com、pinterest.com/pinimg.com。保守排除后留下 834 个 URL 单位、243 个 AI 根路径 Disallow。完整 AI 政策向量不同的分组也会排除，本次没有出现。这是端点敏感性，不是企业去重；没有用 robots URL 合并 llms 候选。

媒体/社区/软件组三个政策比例为 59.9%/44.3%/16.3%，URL 合并后 59.3%/44.2%/16.2%，排除已记录边界项后 61.1%/43.4%/16.3%。数值次序保留不表示因果解释成立或分类偏差已消除。

仅原归档依据的媒体组为 8/20、软件组 5/41，社区组仅有 15 个可分析案例。来源分组单元通常较小，页面可读性本身也有选择偏差，不能据此验证全部知识标签。完整来源分组、各 AI 标识及排名段组成用于进一步查看混杂。

## 离线复现

将 v2.2 ZIP 解压到 `v2.2/`，v2.0 ZIP 解压到 `evidence/`；v2.0 的 `sites.csv` 和 `metrics.json` 在解压根目录。在二者的上级目录运行：

```bash
python3 v2.2/analyze.py --frozen v2.2 --base evidence --work v2.2 --output rebuilt-site-types
```

仅依赖 Python 标准库，不请求网络，输出目录须不存在。脚本检查冻结标签、可取得的判断输入和 v2.0 两个文件的固定哈希，拒绝队列/排名不一致，并要求复现原 854/249/156 总量。输出的复核 HTML 是伴随审查材料，不是发布文章的副本。

`classifications.csv/json` 不含政策；`classified-sites.csv` 为合并明细；`summary.json` 含敏感性结果；其他 CSV 提供类别、标识、排名段及别名分组。`checksums.json` 校验 ZIP 内载荷，独立的 `manifest.json` 还包含 ZIP 哈希。包内 `freeze.py` 供审查冻结规则，重新冻结原始证据还需本地首页归档；包内不转载原始首页 HTML。提供的是冻结标签及其聚合分析复现，不是对知识标签的独立重新验证。

逐域名证据引用及官方 URL 见 `archive-followup-decisions.json` 和 `source-register.json`；原 v2.0 方法说明 robots 求值及采集细节。本补充没有新增 robots/llms 请求或付费 AI 分类 API 调用。