谷歌蜘蛛爬取太频繁

moe

3年前

谷歌蜘蛛爬取太频繁

怎么屏蔽

宝塔nginx伪静态规则

if ($http_user_agent ~* (google)){ return 403; }

加到NGINX配置文件里边

屏蔽干什么？

gr58046576 发表于 2021-10-30 22:43
屏蔽干什么？

爬到把服务器干爆了
每月流量就20T ，一台能给他爬到1T多。。。

沉默的鱼发表于 2021-10-30 22:48
爬到把服务器干爆了
每月流量就20T ，一台能给他爬到1T多。。。

有那么夸张？

一天爬二十几万次 4H小鸡根本顶不住早屏蔽了

蝙蝠侠发表于 2021-10-30 22:51
加到NGINX配置文件里边

我是加到站点配置那里

但是加了之后

宝塔上行流量统计还是高

不知道啥情况

限制单个IP连接数

沉默的鱼发表于 2021-10-30 23:08
我是加到站点配置那里

但是加了之后

看网站日志，是因为什么导致资源占用高

楼主这情况八成是被别有用心的人利用google爬虫漏洞攻击了，可以搜索相关关键词