嘟嘟社区

限制谷歌蜘蛛抓取频率的办法找到了


本帖最后由 wfc 于 2022-10-10 10:21 编辑

使用君子协议
robots.txt

  1. User-agent: googlebot
  2. Request-rate: 10/1
  3. Disallow:

复制代码

Request-rate: 10/1限制为每1秒最大抓取10次
现在服务器轻松多了,简单看了下大部分每秒抓取6-9次


现在的爱搭不理、明天的你高攀不起!!
今天你还在嫌弃爬虫太多,明天你就该但心爬虫为什么不来!!
不是所有爬虫都遵守

机长 发表于 2022-10-10 10:21
不是所有爬虫都遵守

正规爬虫都遵守

该升级服务器了