Crawl budget 是搜索引擎爬虫在给定时间段内愿意且能够抓取你网站上 URL 的数量。它对大型网站最为重要——把抓取预算浪费在低价值或重复 URL 上,会导致重要页面的抓取和索引速度变慢。
Crawl Budget
定义
搜索引擎在给定时间内会抓取你网站上页面的数量。
auto_stories
arrow_forward
核心指南
抓取与索引——完整指南