Robots.txt:只允许主要 SE [英] Robots.txt: allow only major SE
本文介绍了Robots.txt:只允许主要 SE的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
有没有办法配置robots.txt，以便网站只接受来自Google、Yahoo!的访问?和 MSN 蜘蛛?
解决方案
用户代理: *不允许:/用户代理:Googlebot允许:/用户代理:Slurp允许:/用户代理:msnbot不允许:
Slurp 是雅虎的机器人p>
Is there a way to configure the robots.txt so that the site accepts visits ONLY from Google, Yahoo! and MSN spiders?
解决方案
User-agent: * Disallow: / User-agent: Googlebot Allow: / User-agent: Slurp Allow: / User-Agent: msnbot Disallow:
Slurp is Yahoo's robot
这篇关于Robots.txt:只允许主要 SE的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
查看全文
