嘟嘟社区

买国内不限制时间的cdn让蜘蛛爬能不能行得通?


国内北岸域名,同时套cf和国内cdn分线路解析,蜘蛛爬源站,这是目前的使用的方案。

——-

一直想把源站开启cdn白名单,但是担心开了白名单后蜘蛛就爬不了源站了。

如果让蜘蛛爬国内cdn,到时候被攻击或者刷流量,国内cdn肯定就不会使用了,这个时候蜘蛛爬不了可能就会导致降权,掉收录。

如果让蜘蛛爬cf,cf又不稳定,延迟又高,同样担心影响收录和排名。

——
所以,现在想了一个法子,

现在源站同时套两个国内cdn和cf,并把他们回源ip设为白名单。
其中一个国内的分线路解析专门给蜘蛛爬资料,
另一个国内的cdn解析国内线路给国内用户访问,
cf解析国外用户访问,

不知道这样行不行的同?

现在有一个问题,蜘蛛专业线路的cdn,会被别人揪出来刷流量吗?