大厂都是怎样屏蔽各种爬虫的？

2022-03-18 分类：bbs

也是写robots.txt吗？为什么我写屏蔽所有爬虫还是会被收录？

试试参考这个的 https://hostloc.com/forum.php?mo … 57&pid=12054185

nginx 判断

大厂有人肉监控和律师团队