如标题所说,如果源站设置了只允许cf的ip回源,那么搜索蜘蛛该如何设置?
自己用的dnspod,一直都是单独解析蜘蛛线路去源站抓取,如果源站设置了只允许cf回源ip访问,那么搜索蜘蛛就被拒之门外,这样在搜索眼里和关站就没什么两样了,难道大佬们都有各个搜索蜘蛛的白名单吗? 如果不设置单独的蜘蛛线路,那么搜索蜘蛛会去爬cdn的各个节点吗? 如果节点失效或者是像cf一样访问缓慢和丢包的话,可能就会影响权重, 这个问题困扰了自己很久,很久,一直搞不懂大佬们都是怎么操作的,求大佬指点迷津~ 自己一直倾向于单独解析蜘蛛线路到源站, 那么,大佬们有各搜索蜘蛛的ip白名单吗?跪求~ |
爬cf都爬不动的垃圾直接不要就行了 你也可以做大陆专用反代or转发机 |
国内的专用反代机主要是给cf提速和隐藏源站ip用的, 被别人搞了进黑洞以后,同样的蜘蛛也抓不到内容,国内的傻逼度蜘蛛更换ip响应慢,所以在它眼里和关站也没有什么不同。。 我想要的就是即便是反代的站打不开,也一定要让源站的抓取正常…… |
用dmit高防或者咸鱼云的高防 |
不暴露源站IP的话,完全没必要只允许CF |
懂了,感谢大佬指点迷津, |