XML sitemap 是一种结构化文件(通常位于 https://example.com/sitemap.xml),用于告诉搜索引擎网站上存在哪些页面、它们最近何时更新以及多久变更一次。它是确保爬虫发现所有重要页面的最可靠方式之一,对于大型网站或内部链接薄弱的网站尤为重要。
应包含的内容:所有 canonical、可被索引的 URL——即未被 noindex、未被 robots.txt 屏蔽、且非重复的页面。
不应包含的内容:
- 已设置 noindex 的页面——noindex 与 sitemap 收录之间的冲突会让爬虫困惑
- 发生重定向的 URL——只列出最终目标地址
- 已 canonical 化的重复 URL——只应出现 canonical 版本
- 后台管理、登录或私有页面
Sitemap 索引:大型网站会使用一个 sitemap 索引文件指向多个独立的 sitemap 文件,每个文件有 50,000 个 URL 的上限。
SearchVitals 的检查方式:Technical SEO 审计会获取并校验 XML sitemap,检查其中的失效链接、被收录的 noindex 页面、非 200 状态码,以及 sitemap 是否在 robots.txt 中被引用。