# v2.1 补充分析：方法与数据字典 分析日期 2026-11-10。复用冻结的 v2.0 窗口：2026-11-10 01:04:31.278 至 01:18:54.938 UTC。属于事后描述分析，没有新采集窗口，没有修改原始主指标或旧数据包。 没有访问队列网站、离线模拟路径或链接目标，没有调用付费 AI API。 ## 固定输入 inputs.json 固定 v2.0 ZIP、其中 CSV/指标、原版政策解析器、CommonMark AST 清单和人工 复核注释的 SHA256。输入不匹配、候选覆盖不全、重复域名或复核正文哈希不符均拒绝分析。 正文直接读取冻结 ZIP，并核对原始选中响应的指纹。 ## 一、政策模式 主要分母为原有 854 个 robots 可分析域名；主指标使用 12 个 AI 相关标识，普通搜索基线 为 Googlebot、Bingbot。训练标识对是 GPTBot/ClaudeBot，搜索标识组是 OAI-SearchBot/Claude-SearchBot/PerplexityBot，其余角色不一律归为训练爬虫。 按以下优先顺序互斥分组：AI 全无根路径禁止、全部 12 标识受限、训练对和搜索组各有 至少一个受限、训练对有受限但搜索组全无、搜索组有受限但训练对全无、仅其他标识受限。 总数必须为 854；CSV 另保留 146 个分母之外的域名。未命中禁止包括命中 Allow 或没有 适用规则，都不代表实际访问成功或全站允许。精确组合为 12 位签名，未列出标识均未 命中根路径禁止。与普通搜索基线的 2×2 交叉单列，不推断站长意图或业务策略。 ## 二、配置复核 在同一归档中对照 claude-web/anthropic-ai 与 ClaudeBot、Claude-SearchBot、Claude-User。 候选条件为至少一个旧标识具名根路径禁止，而 ClaudeBot 未命中根路径禁止。 这不是配置错误名单。核对当前官方定义不意味着证明旧标识已停用或确认了历史站长意图。 记录命中规则、行号、具名/通配来源及三个当前标识的根路径结果。 仅在本地计算 /__benchmark_scope_probe__：根路径例外指 /$ 命中 Allow，而模拟路径 仍命中 Disallow；当前具名组的特定路径案例还需有实际声明的字面量路径，在离线计算中 仍为禁止。其余案例保留各自通配组根路径结果。不发起模拟请求、不自动修规则， 共享相同正文的域名也不当作独立配置数量。 ## 三、llms.txt 结构与针对性审核 保留原始 156 个最低 H1 候选，不修改其标记，不升级为完整合规认证。使用 PHP 及 league/commonmark 2.8.2，CommonMarkCoreExtension，最大嵌套 100 级提取 AST。 公开源码用 .php.txt 后缀，避免在 public 下部署可执行 PHP 入口。 AST 链接含行内、引用和尖括号自动链接，不将代码块里的伪链接或普通裸 URL 算入。 裸 HTTP 字符串另用正则作词法计数，可能包含代码、示例、占位符及标点，不等于有效或 可达 URL 数。相对链接按最终 llms URL 解析；主机关系只比较同主机或子域，不推断注册域 或公司归属。.md 后缀只表示路径形态，不保证目标 MIME。 结构形态互斥：H2+网页超链接、有网页超链接无 H2、只有片段或非网页目标、无超链接 但有裸 HTTP URL、两者均无。多个 H1、首个 H1 仅分隔字符分别计数，不直接作不合格 判断。体积中位数、最近秩法第 90 百分位和超过 100 KiB 的数量仅作描述，不等同于模型 上下文限制、token 成本或效果。相同正文哈希和最终 URL 仅作去重敏感性观察。 全部 156 个候选完成结构提取；对全部 12 个零 AST 超链接案例及最大正文案例作针对性 复核，共 13 个域名。审核标题、引言、URL 形态及相关归档段落，不称为全量语义认证、 站点声明事实核实或有代表性的内容分类普查。重复协议头的静态模式用于标记 URL 拼接 线索，不等于断链实测。不抓取链接目标，也不给质量或引用效果评分。 ## 数据字典 - policy-profiles.csv：全部 1,000 域名、原排名、互斥分组或分母外标记、基线受限标记、 精确受限 AI 标识列表、robots 正文哈希。 - configuration-cases.csv：复核域名、分类、正文哈希、旧标识具名根路径禁止、ClaudeBot 根路径结果/来源、离线模拟结果和实际声明路径示例。完整规则及行号见 insights.json。 - llms-quality.csv：全部 156 候选、最终 URL/哈希、字节数、H1/H2 数及标题、引用块、 可解析/唯一网页链接、主机关系、相对链接、.md 后缀、页内/非网页目标、裸 URL 词法 数量、结构形态和疑似拼接。没有测试链接目标。 - markdown-features.json：与正文哈希绑定的冻结 AST 清单，含解析器版本、标题、 链接目标及简短引言摘录。 - review.json：针对性注释、日期、范围和正文哈希，不自动证明供应商或站长行为。 - insights.json：所有聚合、精确签名、去重和复核数据。 - sources.json：本轮核对的官方定义与格式来源，核对日期 11 月 10 日。 ## 离线复算 分别下载原 v2.0 dataset.zip 和 v2.1 analysis.zip，将补充包解压至新目录。 Python 3.10+，复算直接使用冻结 AST 测量，不需 PHP 或网络： ``` python3 deepen.py --base-archive ../v2.0/dataset.zip --features markdown-features.json --reviews review.json --output ../rebuilt-v2.1 ``` insights.json、policy-profiles.csv、configuration-cases.csv、llms-quality.csv 必须逐字节一致。 如需独立从正文重新提取 AST，提供已安装 league/commonmark 2.8.2 的 Composer autoload： ``` python3 extract_features.py --base-archive ../v2.0/dataset.zip --autoload /path/to/vendor/autoload.php --output ../markdown-features-rebuilt.json ``` 只调用本地 PHP，要求 AST 清单逐字节相同。公开补充包不重复打包原 27 MB 基础数据； 两者以固定哈希关联。manifest 包含 ZIP 等补充文件哈希，不包含自身。代码 MIT， 派生指标与注释 CC BY 4.0，第三方正文保留其原有权利。