嘟嘟社区| 本帖最后由 zhongziso 于 2022-7-18 19:00 编辑
|
完全不按套路来啊| 你确定是百度蜘蛛的IP？ |
| 你是百度你也这样 |
基本确定啊。正常用户看小说会一页一页往下翻嘛。爬虫就不会这样了 |
你这样确认不准确 |
| 百度蜘蛛要看IP地址，除了北京和山西其他都是假的 |
| 所有搜索引擎都会这招, 会模拟用户访问, 看看不同ua和referer页面会不会有变化.
关键很多ua会跟垃圾爬虫的ua重复, 比如: SM-G900P, 搜狗就会用. 也有别的. |
你不认为是别人的爬虫？ |
没错。 |
| 假蜘蛛吧
发个IP看看 |