美国IP很离谱啊,这些都是谷歌蜘蛛吗?宝塔可以控制吗? |
禁止国外ip访问 |
应该不是谷歌的蜘蛛,谷歌有给出爬虫的ip范围,也不会有这么频繁的请求 |
谷歌收录有六万多?但爬得太勤了 |
本帖最后由 acg88 于 2024-8-14 13:14 编辑
也对,频繁请求数据库那应该是被攻击吧 https://www.bt.cn/bbs/thread-72613-1-1.html 这是防火墙,我照着设置 |
感觉不太像啊,流量这么大吗,但是从ip段上又好像是的 |
这个统计可能不太准,爬虫工具的ua是可以自定义的 |
是amazon的爬虫ip,你是不是在亚马逊上发了什么?你在哪些社交媒体发过?这个可能是审核爬虫。或者是社交card爬虫,比如推特 card等 |
针对游客可以只给缓存数据 |
你如果是社交媒体群发你的链接,那么每次发都会被爬好几次甚至几十几百次。很正常的。 |