python - 基于scrapy-redis的分布式爬虫运行的时候不能正常运行 遇到的问题如下截图所示

问题描述

问 题

爬虫运行时一直是这样的每一分钟出现一条这样的信息，无限循环。不能爬取下来数据

这是redis服务端的显示

这样是什么问题，望有高手可以为我解惑，谢谢。

解决方案

使用scrapy_redis，你要去投放url让spider去爬取，你投放了吗？
比如

redis-cli lpush myspider:start_urls http://google.com

这篇关于python - 基于scrapy-redis的分布式爬虫运行的时候不能正常运行 遇到的问题如下截图所示的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！