经常我们要用爬虫爬取一些网站的数据 但是有些网站防爬取机制很严格,稍微访问多个页面或者访问频繁,ip就被封了 今天我就突发奇想哦,所谓的v2都可以用cf的cdn进行爬梯子 那么cdn能不能作为爬虫的访问节点呢,这样的话,爬虫第一次访问用cdn某个ip,第二次请求就是用cdn另外一个ip,第三次请求就是cdn的ip池子再另外一个ip以此类推 这样不就不会被屏蔽ip了么 |
cloudflare warp |
cdn的ip不可控 |
如果套cf 不应该使用的是源站ip去爬的吗? |
经常我们要用爬虫爬取一些网站的数据 但是有些网站防爬取机制很严格,稍微访问多个页面或者访问频繁,ip就被封了 今天我就突发奇想哦,所谓的v2都可以用cf的cdn进行爬梯子 那么cdn能不能作为爬虫的访问节点呢,这样的话,爬虫第一次访问用cdn某个ip,第二次请求就是用cdn另外一个ip,第三次请求就是cdn的ip池子再另外一个ip以此类推 这样不就不会被屏蔽ip了么 |
cloudflare warp |
cdn的ip不可控 |
如果套cf 不应该使用的是源站ip去爬的吗? |