python - pyspider中同时开多个project, 爬取速度为何没有明显提高?

问题描述

问 题

project是这样的,从mongodb数据库里获取要抓取的链接,
在每个project的代码里,从数据库提取url时,设置了相应措施,保证各project不会爬取重复的url,每个project的rate/burst都设成了20/60
然后我发现,只开一个project时,每小时大概能爬2000条数据,而我同时开两个project的话,每小时的数据两个project加起来仍旧是2000条左右,这是为什么?
是pyspider有什么地方没有设置好吗?

解决方案

看 dashboard 队列状态，根据瓶颈增加相应组件

这篇关于python - pyspider中同时开多个project, 爬取速度为何没有明显提高?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！