python - 禁止自己的网站被爬虫爬去？
本文介绍了python - 禁止自己的网站被爬虫爬去？的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
问 题
禁止自己的网站被爬虫爬去？有什么方法啊
解决方案
加一个robots.txt文件，内容：
User-agent: *
Disallow: /这篇关于python - 禁止自己的网站被爬虫爬去？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
查看全文
