嘟嘟社区

[疑问] 如何避免反代域名被谷歌收录


在bt上设置反代,利用域名a反代另一个网站的域名b。
如果不想让域名a被谷歌收录,该如何设置?

telnetpig 发表于 2022-2-9 22:29
谷歌ip那么多,怎么能完全屏蔽

robot.txt

那就ban掉谷歌ip

谷歌ip那么多,怎么能完全屏蔽

屏蔽掉谷歌的ua

telnetpig 发表于 2022-2-9 22:29
谷歌ip那么多,怎么能完全屏蔽

那能怎么办,你又不是想让被反代的域名不收录

反代域名a你都对外访问了,rebots.txt怕是也不顶用


cf有機器人對抗模式

opck 发表于 2022-2-9 22:32
cf有機器人對抗模式

这个不错,我试试

加一个 header X-Robots-Tag = noindex 就可以

Fix 发表于 2022-2-9 22:47
加一个 header X-Robots-Tag = noindex 就可以

谢谢,按照官方的处理了https://developers.google.com/search/docs/advanced/crawling/block-indexing?visit_id=637800140527719333-1397899258&rd=1