Noindex 检测工具

一个写在 HTML 里，一个写在响应头里。 只对 HTML 文档有效；X-Robots-Tag 是服务器返回的响应头，除了网页，PDF、图片、接口返回都能用它控制。这个工具两处都查——因为服务器或 CDN 加的响应头，在你查看网页源代码时是看不到的。

最常见的原因是响应头里有 X-Robots-Tag: noindex，由 Nginx、Apache 或者 Cloudflare 这类 CDN 中间层加上，源代码里查不到。另一种情况是 robots.txt 把这个路径禁了：爬虫根本抓不到页面，页面上的 noindex 自然也读不到，结果反而是它留在索引里、只是没有摘要——和你想要的正好相反。

是。Google 把 content="none" 当作 noindex, nofollow 处理。它容易被漏掉，是因为整个标签里根本没出现 "noindex" 这个词——凡是靠搜索关键词判断的工具都会把这种页面报成"可收录"。这个工具是逐条解析指令的，所以 none 不会漏。

没有固定周期。Google 必须重新抓取一次才能发现指令已经去掉了，所以取决于这个页面被抓取的频率——更新频繁的站可能几天，冷门页面可能要几周。重要页面可以到 Search Console 里手动请求编入索引，通常会快一些。

noindex 管的是"这个页面不要出现在搜索结果里"，nofollow 管的是"不要跟随这个页面上的链接"。两者互不影响。常见的组合是 noindex, follow——页面本身不进搜索结果，但权重仍然沿着链接往下传，大多数只想隐藏页面的场景用的都是这个。

想让页面不出现在搜索结果里，用 noindex；想让爬虫根本不要来抓，用 robots.txt。同一个网址上不要两个一起用：被 Disallow 的页面爬虫不会抓取，页面里的 noindex 就永远读不到，结果是它继续留在索引里、只是没有描述。如果页面已经被收录了、你想让它下架，就得先允许抓取，再用 noindex。

这个网址同时出现在你的 sitemap 里，又带着 noindex——等于一边请 Google 来收录，一边告诉它别收录。要么去掉 noindex，要么把这个网址从 sitemap 里移走。这个工具会直接把这种矛盾标出来。

通常不需要，至少不该按页面类型一刀切。Google 处理分页的能力没问题，而给归档页加 noindex 反而会切断通往内容页的抓取路径。判断标准应该是"这个页面对搜索用户有没有独立价值"——站内搜索结果页、筛选组合出来的空页面、测试环境的重复页，这些才该加。

会。加了 noindex 的页面照样要被抓取——不抓取就读不到这条指令。站点规模大的时候，这就是实打实花在永远不会有排名的页面上的预算。如果整个目录都不该被抓，robots.txt 才是对的工具，但前提是这些页面已经从索引里下架了。

在页面还在被抓取的期间，如果指令是 noindex, follow，是传递的。但 Google 说过，一个长期保持 noindex 的页面，它会逐渐当作 nofollow 处理，因为抓取频率会越来越低。所以不要把 noindex 页面当成内链结构里的长期节点。

不会。收录由 Googlebot 和你的 robots 指令决定。屏蔽 GPTBot 或 ClaudeBot 只是拒绝内容被拿去训练模型，既不影响 Google 收录，也不影响 ChatGPT 或 Claude 能不能引用你——尽管后一点常被说反。决定引用的是检索类爬虫：OAI-SearchBot、ChatGPT-User、Claude-SearchBot、Claude-User、PerplexityBot。Google-Extended 是个例外，这一个 token 同时管着 Gemini 的训练和 grounding，两者拆不开。想让内容真正被引用，可以看如何成为 AI 回答引用的信息源。