当前位置：嘟嘟社区 > bbs > 正文

限制谷歌蜘蛛抓取频率的办法找到了

2022-10-10 分类：bbs

本帖最后由 wfc 于 2022-10-10 10:21 编辑

使用君子协议
robots.txt

复制代码

Request-rate: 10/1限制为每1秒最大抓取10次
现在服务器轻松多了，简单看了下大部分每秒抓取6-9次

现在的爱搭不理、明天的你高攀不起！！
今天你还在嫌弃爬虫太多，明天你就该但心爬虫为什么不来！！

不是所有爬虫都遵守

机长发表于 2022-10-10 10:21
不是所有爬虫都遵守

正规爬虫都遵守

该升级服务器了

版权声明：本贴采用知识共享署名4.0国际许可协议 [BY-NC-SA] 进行授权
帖子名称：《限制谷歌蜘蛛抓取频率的办法找到了》
帖子链接：https://bbs.toot.su/172038.html