最近服务器的磁盘io一直100%,队列高达10左右,分析日志ip后发现是cf一直在爬取,可能是自动缓存。
这本来是个好功能,可现在爬取的频率太高了,硬盘先要撑不住了。 请教各位d大的,有什么设置之类的可以控制下cloudflare的抓取频率吗?
|
不是CF CF又不是搜索引擎 是别人通过CF 访问的 大概率是谷歌干的 |
之前谷歌的爬虫也很烦,只好换服务器
小尾巴翘起来
|
点醒了我,应该去cf里面查访问 |
很可能是伪装成CF的采集 |
十有**是爬虫 |
多半是其他爬虫,看日志,没用的垃圾爬虫就禁止了吧 |