seo - robots.txt文件怎么写能只允许爬首页和指定链接？

问题描述

问 题

User-Agent: *
Disallow: /
Allow: /article

比如我这样写，他会爬取article目录下的网页，但是我还想蜘蛛爬取首页怎么办？除此以外的链接我不想让蜘蛛爬取到

解决方案

User-Agent: *
Disallow: /*
Allow: /$
Allow: /test.html

测试结果：

这篇关于seo - robots.txt文件怎么写能只允许爬首页和指定链接？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！