python - 使用scrapy框架爬百度图片被墙

问题描述

问 题

请求地址url是通过firefox查看得到的json的地址，用浏览器可以打开，但是用scrapy爬的时候就被ban了求解决办法。

https://image.baidu.com/searc...

解决方案

在 settings.py 将 ROBOTSTXT_OBEY = False 试试。

这篇关于python - 使用scrapy框架爬百度图片被墙的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！