vps交流

[疑问] 源站只允许cf的ip回源,一直有一个疑问


如标题所说,如果源站设置了只允许cf的ip回源,那么搜索蜘蛛该如何设置?

自己用的dnspod,一直都是单独解析蜘蛛线路去源站抓取,如果源站设置了只允许cf回源ip访问,那么搜索蜘蛛就被拒之门外,这样在搜索眼里和关站就没什么两样了,难道大佬们都有各个搜索蜘蛛的白名单吗?

如果不设置单独的蜘蛛线路,那么搜索蜘蛛会去爬cdn的各个节点吗?

如果节点失效或者是像cf一样访问缓慢和丢包的话,可能就会影响权重,

这个问题困扰了自己很久,很久,一直搞不懂大佬们都是怎么操作的,求大佬指点迷津~

自己一直倾向于单独解析蜘蛛线路到源站,

那么,大佬们有各搜索蜘蛛的ip白名单吗?跪求~

爬cf都爬不动的垃圾直接不要就行了
你也可以做大陆专用反代or转发机

jqbaobao 发表于 2021-12-14 08:58
爬cf都爬不动的垃圾直接不要就行了
你也可以做大陆专用反代or转发机

国内的专用反代机主要是给cf提速和隐藏源站ip用的,

被别人搞了进黑洞以后,同样的蜘蛛也抓不到内容,国内的傻逼度蜘蛛更换ip响应慢,所以在它眼里和关站也没有什么不同。。

我想要的就是即便是反代的站打不开,也一定要让源站的抓取正常……

nieyuli 发表于 2021-12-14 09:11
国内的专用反代机主要是给cf提速和隐藏源站ip用的,

被别人搞了进黑洞以后,同样的蜘蛛也抓不到内容,国 …

用dmit高防或者咸鱼云的高防

不暴露源站IP的话,完全没必要只允许CF
懂了,感谢大佬指点迷津,