两个都放开会影响权重,能不能禁止起中一个被抓取? |
可以 |
怎么搞?去Google账号里设置还是写在robot.txt? |
在其中一个站的robots.txt上,配置disable。 如果2个域名使用的是相同内容,你得配置2个webserver,其中一个配置disable即可。 |
<link rel="canonical" href="https://"> |
在不需要抓取的站点下添加:
复制代码 新建个wrobots.txt为不需要被抓取 |
2个域名都用一样的内容。不能使用同一个网站源文件么?必须复制一份哇? |
配置2个webserver,指向相同内容。 在A域名上,通过nginx的location指定robots.txt,不清楚是否可行。 |
这个好像可以。我研究一下 |
多谢,可以试试。 |