vps交流

[经验] 怎么屏蔽谷歌蜘蛛


robots.txt
作用不是太大
谷歌会遵守robots.txt的,你看到的怕不是假蜘蛛

这是最好的年代 发表于 2022-5-13 14:23
谷歌会遵守robots.txt的,你看到的怕不是假蜘蛛

66.249.68
这开头的

大吊 发表于 2022-5-13 14:24
66.249.68
这开头的

直接屏蔽段不就可以了

大吊 发表于 2022-5-13 14:24
66.249.68
这开头的

这确实是谷歌蜘蛛的IP…

https://developers.google.com/search/docs/advanced/crawling/googlebot

Nginx

  1. if ($http_user_agent ~* (bot|spider)) {
  2.     return 404;
  3. }

复制代码

[经验]  怎么屏蔽谷歌蜘蛛

来学习学习
老早以前写过一篇博文:

https://1kb.day/posts/nginx_search_bot.html