本帖最后由 Tou 于 2022-3-18 13:42 编辑
42.236.10.114 爬虫的User-agent好JB恶心 这是要嫁祸还是要搞个大厂联合蜘蛛? 为啥说42.236.10.114是360家的,因为 http://s9.qhres2.com/static/7435af08d546fe05.pdf 里面写了这个ip,qhres2是360家的 有一说一,还挺智能的,分析出了我限制了每分钟爬取页数,超过就会ban掉ip,每天就按这个限制过来爬刚刚好 我是今天刷了日志才发现的 42.236.10.114 – – [17/Mar/2022:00:05:10 +0800] "GET /xx.jpg HTTP/1.1" 302 138 "http://www.***.com/" "Mozilla/5.0 (Linux; U; Android 8.1.0; zh-CN; EML-AL00 Build/HUAWEIEML-AL00) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/57.0.2987.108 baidu.sogo.uc.UCBrowser/11.9.4.974 UWS/2.13.1.48 Mobile Safari/537.36 AliApp(DingTalk/4.5.11) com.alibaba.android.rimet/10487439 Channel/227200 language/zh-CN" |
ping0cc 收集了大部分的蜘蛛IP https://ip.ping0.cc/ip/42.236.10.114 |
恐怕不是正常蜘蛛,特殊类型的(检查和谐内容并上报所以需要伪装UA) |