[疑问] 如何避免反代域名被谷歌收录-嘟嘟社区

在bt上设置反代，利用域名a反代另一个网站的域名b。
如果不想让域名a被谷歌收录，该如何设置？

telnetpig 发表于 2022-2-9 22:29
谷歌ip那么多，怎么能完全屏蔽

robot.txt

那就ban掉谷歌ip

笑花落半世琉璃发表于 2022-2-9 22:28
那就ban掉谷歌ip

谷歌ip那么多，怎么能完全屏蔽

屏蔽掉谷歌的ua

telnetpig 发表于 2022-2-9 22:29
谷歌ip那么多，怎么能完全屏蔽

那能怎么办，你又不是想让被反代的域名不收录

反代域名a你都对外访问了，rebots.txt怕是也不顶用

cf有機器人對抗模式

opck 发表于 2022-2-9 22:32
cf有機器人對抗模式

这个不错，我试试

加一个 header X-Robots-Tag = noindex 就可以

Fix 发表于 2022-2-9 22:47
加一个 header X-Robots-Tag = noindex 就可以

谢谢，按照官方的处理了https://developers.google.com/search/docs/advanced/crawling/block-indexing?visit_id=637800140527719333-1397899258&rd=1