Meta标签与robots.txt [英] Meta tag vs robots.txt
本文介绍了Meta标签与robots.txt的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
使用meta标记*还是使用robots.txt文件更好地通知爬行器/爬网程序包括或排除页面？
同时使用meta标记和robots.txt是否有问题？
*例如：<#META name="robots" content="index, follow">
推荐答案
robots.txt IMHO。
Meta标记选项告诉bot不要索引单个文件，而robots.txt可用于限制对整个目录的访问。
当然，如果您在索引文件夹中有要跳过的奇数页，请使用Meta标记，但通常，我建议您将大多数未索引内容放在一个或多个文件夹中，并使用robots.txt跳过该批内容。
不，两者都使用没有问题-如果发生冲突，一般情况下，拒绝将否决允许。
这篇关于Meta标签与robots.txt的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
查看全文
