嘟嘟社区

[疑问] 书接上回,大量mysql数据库查询是不是蜘蛛造成的?


[疑问]  书接上回,大量mysql数据库查询是不是蜘蛛造成的?

美国IP很离谱啊,这些都是谷歌蜘蛛吗?宝塔可以控制吗?

禁止国外ip访问
应该不是谷歌的蜘蛛,谷歌有给出爬虫的ip范围,也不会有这么频繁的请求
谷歌收录有六万多?但爬得太勤了
本帖最后由 acg88 于 2024-8-14 13:14 编辑

轩辕之风 发表于 2024-8-14 13:07
应该不是谷歌的蜘蛛,谷歌有给出爬虫的ip范围,也不会有这么频繁的请求

也对,频繁请求数据库那应该是被攻击吧
装了个Nginx防火墙试试看能不能抵挡

https://www.bt.cn/bbs/thread-72613-1-1.html  这是防火墙,我照着设置

感觉不太像啊,流量这么大吗,但是从ip段上又好像是的

acg88 发表于 2024-8-14 13:10
谷歌收录有六万多?但爬得太勤了

这个统计可能不太准,爬虫工具的ua是可以自定义的

是amazon的爬虫ip,你是不是在亚马逊上发了什么?你在哪些社交媒体发过?这个可能是审核爬虫。或者是社交card爬虫,比如推特 card等
针对游客可以只给缓存数据
你如果是社交媒体群发你的链接,那么每次发都会被爬好几次甚至几十几百次。很正常的。