pyspider - 对抗反爬虫策略
本文介绍了pyspider - 对抗反爬虫策略的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
问 题
我的问题如下:
我需要抓取一个网站的数据来做一些统计研究,但是这个网站有严格的反抓取策略。
目前看来,利用pyspider框架进行一段时间的抓取后,网站就会禁止我访问。有没有什么好的
办法使得pyspider能够抓取一段时间后停止抓取,然后隔一段时间有恢复抓取的策略呢?
解决方案
IP被封了是么。非常常用的爬虫封禁方法,但是策略不一定是相同的,有的是判断你请求速率,有的判断是多少时间内的请求次数。
具体的推荐你看一篇文章,里面有专门讲如果通过代理服务器IP进行突破IP封禁策略,当然其他的几个方法也非常值得研究
这篇关于pyspider - 对抗反爬虫策略的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文