被 robots.txt 禁止:scrapy [英] getting Forbidden by robots.txt: scrapy
本文介绍了被 robots.txt 禁止:scrapy的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
在抓取像 https://www.netflix.com 这样的网站时，被 robots.txt 禁止访问:https://www.netflix.com/>
while crawling website like https://www.netflix.com, getting Forbidden by robots.txt: https://www.netflix.com/>
错误:没有响应下载:https://www.netflix.com/
推荐答案
在2016-05-11推出的新版本(scrapy 1.1)中，爬取先下载robots.txt再爬取.使用 ROBOTSTXT_OBEY
In the new version (scrapy 1.1) launched 2016-05-11 the crawl first downloads robots.txt before crawling. To change this behavior change in your settings.py with ROBOTSTXT_OBEY
ROBOTSTXT_OBEY = False
这是发行说明
这篇关于被 robots.txt 禁止:scrapy的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
查看全文
