多个域名的robots.txt [英] Robots.txt for multiple domains
本文介绍了多个域名的robots.txt的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我们对每种语言都有不同的域
- www.ABC.com
- www.abc.se
- www.abc.de
然后每个站点都有不同的sitemap.xml。在robots.txt中，我希望为每个域添加站点地图引用。
- 是否可以在单个robots.txt中为每个域拥有多个站点地图引用？
- 如果有多个，它会选择哪个？
推荐答案
robots.txt只能通知搜索引擎其自己域的站点地图。因此，当它爬行该域的robots.txt时，它将只支持一个。如果这三个域名都映射到同一个网站，并且共享一个robots.txt，那么搜索引擎将有效地找到每个站点地图。
这篇关于多个域名的robots.txt的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
查看全文
