嘟嘟社区

必应,每天几万蜘蛛,爬的我CPU百分百


必应y有没有流量的,要不要把他家蜘蛛屏蔽掉
现在还可能吧,流量不错
你确定是蜘蛛 而不是采集站伪装的逼硬蜘蛛?
本帖最后由 251768938 于 2021-12-5 15:35 编辑

有的是用必应的User-Agent去CC你呢,
https://hostloc.com/thread-933042-1-1.html
看这个,用的全是百度蜘蛛的Agent,直接屏蔽会误杀真正的蜘蛛

必应的蜘蛛现在是很疯狂,但是用户太少了
google的蜘蛛也多但是至少有点流量