嘟嘟社区| 66.249.79.这个IP段一秒钟爬我搜索页上百次 数据库负载100% 搜索页没有内容、是伪装蜘蛛攻击吗 |
| 这是 Google 的爬虫… |
|
66开头好像是google |
| NetRange: 66.249.64.0 – 66.249.95.255 CIDR: 66.249.64.0/19 NetName: GOOGLE NetHandle: NET-66-249-64-0-1 Parent: NET66 (NET-66-0-0-0-0) NetType: Direct Allocation OriginAS: Organization: Google LLC (GOGL) RegDate: 2004-03-05 Updated: 2012-02-24 Ref: https://rdap.arin.net/registry/ip/66.249.64.0 |
为什么一直爬我搜索页 |
好事 要么你就做静态缓存 |
我做的国人站 谷歌收录我没用 |
那你 robot 屏蔽谷歌蜘蛛就行了 |
| 那么厉害直接拉黑这个ip就行了 |
| 谷歌的蜘蛛
robots.txt里边写不让它爬搜索页就行了 |