动态robots.txt [英] Dynamic robots.txt
本文介绍了动态robots.txt的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
假设我有一个网站，用于托管针对特定用户组的社区生成的内容。现在，假设为了培养一个更好的社区，我有一个离题的区域，社区成员可以在那里发布或谈论任何他们想要的东西，而不管网站的主题是什么。
现在，我希望大部分内容由Google编制索引。值得注意的例外是离题的内容。每个线程都有自己的页面，但是所有的线程都列在同一个文件夹中，所以我不能只是从某个文件夹中排除搜索引擎。它必须是按页的。传统的robots.txt文件会变得很大，那么我还能怎么做呢？
推荐答案
这将适用于所有性能良好的搜索引擎，只需将其添加到<head>：
<meta name="robots" content="noindex, nofollow" />
这篇关于动态robots.txt的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
查看全文
