| robots.txt 作用不是太大 |
| 谷歌会遵守robots.txt的，你看到的怕不是假蜘蛛 |
66.249.68 |
直接屏蔽段不就可以了 |
这确实是谷歌蜘蛛的IP… https://developers.google.com/search/docs/advanced/crawling/googlebot |
Nginx
复制代码
|
![[经验] 怎么屏蔽谷歌蜘蛛](https://cdn.jsdelivr.net/gh/master-of-forums/master-of-forums/public/images/patch.gif){kind=small}
| 来学习学习 |
| 老早以前写过一篇博文： |
| robots.txt 作用不是太大 |
| 谷歌会遵守robots.txt的，你看到的怕不是假蜘蛛 |
66.249.68 |
直接屏蔽段不就可以了 |
这确实是谷歌蜘蛛的IP… https://developers.google.com/search/docs/advanced/crawling/googlebot |
Nginx
复制代码
|
| 来学习学习 |
| 老早以前写过一篇博文： |