嘟嘟社区

360果然是流氓起家,连360蜘蛛都搞伪装不规矩


本帖最后由 Tou 于 2022-3-18 13:42 编辑

42.236.10.114 爬虫的User-agent好JB恶心
baidu.sogo.uc.UCBrowser 再带个 com.alibaba.android.rimet        
有时候还要带个referer是http://baidu.com/

这是要嫁祸还是要搞个大厂联合蜘蛛?

为啥说42.236.10.114是360家的,因为 http://s9.qhres2.com/static/7435af08d546fe05.pdf 里面写了这个ip,qhres2是360家的

有一说一,还挺智能的,分析出了我限制了每分钟爬取页数,超过就会ban掉ip,每天就按这个限制过来爬刚刚好 我是今天刷了日志才发现的

42.236.10.114 – – [17/Mar/2022:00:05:10 +0800] "GET /xx.jpg HTTP/1.1" 302 138 "http://www.***.com/" "Mozilla/5.0 (Linux; U; Android 8.1.0; zh-CN; EML-AL00 Build/HUAWEIEML-AL00) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/57.0.2987.108 baidu.sogo.uc.UCBrowser/11.9.4.974 UWS/2.13.1.48 Mobile Safari/537.36 AliApp(DingTalk/4.5.11) com.alibaba.android.rimet/10487439 Channel/227200 language/zh-CN"

ping0cc 收集了大部分的蜘蛛IP
https://ip.ping0.cc/ip/42.236.10.114
恐怕不是正常蜘蛛,特殊类型的(检查和谐内容并上报所以需要伪装UA)