python - 为什么感觉 pyspider 爬取的速度好慢

问题描述

问 题

为什么感觉 pyspider 爬取的速度好慢（比自己直接用 requests 和 bs慢多了），是不是因为有些网页会 retry，不过成功率倒是比自己爬取的高多了。是不是我的使用方法不对？求解释

解决方案

这里可以设置 web ui 控制台上的 rate/burst 参数来调节速度，rate 是 每秒抓取的数量，burst 是并发的数量，默认是 1/3 所以比较慢，还是对这个工具了解不够呀

这篇关于python - 为什么感觉 pyspider 爬取的速度好慢的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！