网页爬虫 - 什么是分布式爬虫 和单机爬虫有什么区别

问题描述

问 题

什么是分布式爬虫 和单机爬虫有什么区别

分布式体现在哪 爬虫和爬虫之间有什么关系

解决方案

分布式爬虫，从字面意思可以理解为集群爬虫，如果有spider任务，可以用多台机器同时运行，可以更快更高效。
单机爬虫，是指单点部署，只能单机操作
说白了分布式就是把多个单机连接到一起，作用就是为了提高可用性和性能
单机毕竟有cpu，io，带宽等多重限制，搞成分布式就可以水平扩展，性能不够就加机器好了。

这篇关于网页爬虫 - 什么是分布式爬虫 和单机爬虫有什么区别的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！