Python爬虫程序运行“卡顿”
本文介绍了Python爬虫程序运行“卡顿”的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
问 题
用Python爬取某网站两个月的数据,程序卡顿,但并未报错,也未结束。如上图所示。
例如,我把时间循环设置为2016.8.1--2016.10.1,抓取到数据的就只能到2016.9.4,然后程序也没运行结束,但数据库也一直没有更多的数据进入。出现卡顿。
然后我换了台配置更好的电脑,情况会好很多,可以抓取半年的数据。本来我想抓一年的数据,但抓取到半年的数据的数据后,也会出现如图所示的情况,并且数据库也一直未添加更多的数据。即卡顿。
我想知道有没有办法能够一次抓取的数据多点??
解决方案
出现阻塞的原因是什么呢?你可以通过以下方式分析:
1,抓包分析,是不是网络原因;
2,你写的爬虫是用什么框架,是urllib2还是scrapy框架,查看日志情况。
3,查看是否是url池已经处理完,没有新的目标任务添加到爬取队列。
这篇关于Python爬虫程序运行“卡顿”的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文