python - Scrapy读取数据库中的url进行爬去

问题描述

问 题

比如我爬去了豆瓣的Top100页面，将每本书的详情页面的URL存入MongoDB中，然后我用Redis去重。然后从Redis中获取url去爬详细的数据。
现在有个问题

在Scrapy中，怎么处理MongoDB中url字段的值进入Redis。或许说。Scrapy怎么从数据库中获取url。

谢谢

解决方案

在start_requests写不行吗？
比如

def start_requests(self):

r = Redis.Redis()
while true:
    url = r.lpop('xxxx')
    yield scrapy.Request(url)

这篇关于python - Scrapy读取数据库中的url进行爬去的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！