pyspider 爬虫集群搭建

问题描述

问 题

我看到一篇相关的帖子：
轻松组建分布式 pyspider 集群

似乎pyspider的分布式集群，实现的关键点在于消息队列，有几个问题：

1. 是不是只要把slave节点的消息队列设成master节点的，比如
   "message_queue": "redis://masterIP:6379/db"就可以让master节点调度该slave节点了呢？master节点上需要做什么其他相关的设置吗？master节点依靠什么来判断谁是它的slave节点以及实现调度呀？

2. 这篇帖子中所讲述的搭建集群方法，使用的节点都处在同一个局域网中，如果各个节点不在同一个局域网，是否也可以这样来搭建集群（通过设置message_queue）（手头没有能用来测试的节点，所以还暂时没法自己测）

解决方案

1. pyspider 不区分 master，slave。只有 scheduler 负责调度，其他的组件都是流水线上接收处理数据，然后推向流水线的下游的。

2. 可以

这篇关于pyspider 爬虫集群搭建的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！