嘟嘟社区

[疑问] 求助! semrushbot蜘蛛不讲武德一直爬,导致服务器卡死！

moe

本帖最后由 hktv 于 2022-6-12 21:17 编辑

求助! semrushbot蜘蛛不遵守规则一直爬,服务器卡死！怎么设置没有用，一直爬。。。请教大佬们有什么办法不让semrushbot垃圾蜘蛛爬。跪谢！

老的贴子里看到这个大佬说最后把这蜘蛛来访设定成301到他自己网站去，没几分钟就消失了。（这要怎么设置啦）
https://hostloc.com/forum.php?mo … ighlight=semrushbot

这下面是我胡设置。
  #屏蔽垃圾蜘蛛
if ($http_user_agent ~* (YandexBot|spbot|DnyzBot|Researchscan|semrushbot|yahoo|AhrefsBot|DotBot|Uptimebot|MJ12bot|MegaIndex.ru|ZoominfoBot|Mail.Ru|SeznamBot|BLEXBot|ExtLinksBot|aiHitBot|Barkrowler)){
return 404;
}

robots.txt

User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot/6~bl
Disallow: /
User-agent: SemrushBot/7~bl
Disallow: /
return 301

  这样吗？

  if ($http_user_agent ~* semrushbot){
     return 301 http://www.semrush.com;
}

hktv 发表于 2022-6-12 21:03
这样吗？

  if ($http_user_agent ~* semrushbot){

这样好像不行呀
有没有哪位大佬好心告诉一下，怎么弄呀，昨天弄了一天没有弄好
额，robots规则拦不住就上防火墙咯，我用过宝塔防火墙，直接拦截ua，你这个规则return403才是拒绝访问，404是找不到文件。。。

hktv 发表于 2022-6-12 21:10
这样好像不行呀

修改完了要重启nginx
不管是404还是403，只要是请求，服务器都会产生负载。nginx 试试 444，或者利用iptables屏蔽

require 发表于 2022-6-12 21:22
修改完了要重启nginx

这不行。重启了试了，

取个什么名好呢 发表于 2022-6-12 21:27
不管是404还是403，只要是请求，服务器都会产生负载。nginx 试试 444，或者利用iptables屏蔽 …

试了444也不行，我再试试你后面说的那个