怎么给网站安排人机验证但不能妨碍搜索引擎抓取

2024-10-03 分类：bbs

导航站点被扫描器天天扫，国内国外的IP成段扫描，我都怀疑是国内网安公司有组织性的批量扫描行为，1h 1g小鸡遭不住了，想开人机验证又怕影响搜索引擎抓取导致流量下降。MJJ有什么好办法没？

开人机验证 然后放行已知搜索引擎机器人

开IP段白名单，搜索引擎爬虫IP段都是公开的