当前位置：嘟嘟社区 > bbs > 正文

[疑问] 刚刚看到这这个垃圾爬虫几乎按ID从头扫到尾。

2021-10-28 分类：bbs

seostar.co 这家是他的客户在使用这个工具才扫特定的页面，还是本身他们家的爬虫在不停在爬。
几乎整站从0到XXXX全来了遍不休息。

"Mozilla/5.0 (compatible; Adsbot/3.1; +https://seostar.co/robot/)"

"Mozilla/5.0 (compatible; ThinkChaos/0.3.0; +In_the_test_phase,_if_the_ThinkChaos_brings_you_trouble,_please_add_disallow_to_the_robots.txt._Thank_you.)"

发现了就好