嘟嘟社区| 从上周开始。疯狂爬行网站2+2完全顶不住。直接爆。
甚至用上了独服还是爆。最近两天很多人都遇到爬虫太厉害这个问题，看来不是我一个人 Google这种大企业。ip多如牛毛。cc策略不管用 最后封ip解决了问题。66.249.x.x，还有些段爬得没那么厉害暂时没管。不同段ip太多 还有个185.191.x.x，签名不是Google的。似乎也是一个搜索引擎 有被爬虫困扰的大佬可以把这两个段拉黑 |
| 可以直接按爬虫特征屏蔽啊 |
| 我巴不得被爬，我的网站还没收录awa |
| google对抓取的链接，回访最勤快，一条新链接从抓取，以后会再来爬几十次甚至上百次
所以只有第一次返200，以后返304就行了 |
这样不会误伤正常用户吗 |
| 没有流量的爬虫 就是乐色 |
正常用户更好，对于带了last标志的用户，他的浏览器是有这个网页的缓存的 如果你返回304，那么他的浏览器会自动读取缓存并显示 给用户的感觉是非常快！！！ |
| 有个站谷歌这段时间每天 一百多万蜘蛛来了。。 应该只是爬行一段时间吧，以前也遇到过，只爬行几天或者一个星期左右，后期就来得少了，但是前期你得扛得住。 |
全球最厉害的爬虫你以为说着玩的呢 |