vps交流

怎么降低cloudflare的抓取频率?


最近服务器的磁盘io一直100%,队列高达10左右,分析日志ip后发现是cf一直在爬取,可能是自动缓存。

这本来是个好功能,可现在爬取的频率太高了,硬盘先要撑不住了。

请教各位d大的,有什么设置之类的可以控制下cloudflare的抓取频率吗

怎么降低cloudflare的抓取频率?

不是CF CF又不是搜索引擎 是别人通过CF 访问的 大概率是谷歌干的

小尾巴翘起来

周润发 发表于 2021-10-10 10:28
不是CF CF又不是搜索引擎 是别人通过CF 访问的 大概率是谷歌干的

点醒了我,应该去cf里面查访问

很可能是伪装成CF的采集
十有**是爬虫
多半是其他爬虫,看日志,没用的垃圾爬虫就禁止了吧