站点越大，抓取预算越值钱。爬虫一天来多少次是有限的，如果它把时间花在筛选参数页、分页和重复页上，重要页面就会漏抓。省预算的核心是「减少不值得抓的 URL」。
一、收敛 URL 变体
排序、筛选、分页参数最容易制造出成倍的 URL。做法：用 canonical 指向主版本，或在 robots 里屏蔽无价值参数组合。
二、屏蔽无价值页面
- 搜索结果页
- 用户中心、购物车
- 打印版、PDF 版重复内容
- 标签页（内容稀疏时）
三、合并薄页面
每页只有两三句话的页面，合并成一个分类页。抓十页薄内容，不如抓一页完整内容。
四、站点地图只放重要页
地图里的 URL 应该都是你希望被收录的。混进 404、重定向、noindex 页面，会降低信任。
五、降低首字节时间
抓取频率与服务器响应相关。响应慢，抓取量会被压低。
怎么判断预算不够
- 重要页面长期「已发现但未编入索引」
- 地图读取数与提交数差距大
- 日志里爬虫访问集中在低价值页面
三条命中两条，就该做上面的收敛。
小站也要注意
页面在五百以内时，预算通常够用。但参数页与搜索结果页仍会浪费预算，早点屏蔽更省事。
重复内容的处理见重复内容自查。
日志分析步骤
- 过滤出搜索引擎爬虫的请求
- 按 URL 路径分组，统计每组的抓取次数
- 找出「抓取次数多但价值低」的组（参数页、搜索结果页、标签页）
- 用 robots 或 canonical 收敛这些组
四步做完，通常会看到三成以上的抓取量花在低价值 URL 上。
预算改善的判断
做完收敛后，看两个数：
- 重要页面的「已发现未编入」是否减少
- 日志里低价值 URL 的抓取占比是否下降
两个数都在动，说明预算被释放了。只有一个在动，可能只是抓取总量变了，不代表结构改善。