python - scrapy 怎么设置爬100次换代理

问题描述

问 题

scrapy中间件已经写过了，可以每次请求换一次代理，但是跑起来很慢，一天也就十几万的样子

代理是api那种，想减少代理的请求次数。

所以想到，多少次换一次代理这种。

解决方案

可以scrapy中间件里边，start_request里边设定一个计数器，每100次就去换代理。

这篇关于python - scrapy 怎么设置爬100次换代理的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！