研究报告
SearchVitals 原始数据研究。爬虫政策报告附版本化数据、离线复算脚本、来源和勘误记录。
robots.txt 政策
2026-11-09
AI 爬虫 robots.txt 政策：2026 年 11 月
重新采集固定的 1000 个域名：854 份可分析的 robots 文件中，249 份（29.2%）在根路径限制至少一个 AI 相关标识。附请求记录与根目录 llms.txt 正文证据。
阅读报告 arrow_forward后续研究将把实际网络访问、网页性能与声明政策分开测量。