pyspider - 分布式部署, 节点失效会不会到时 task 丢失?

问题描述

问 题

主机上部署了 mysql + rabbitmq + pyspider全部节点, 其他机器部署了部分 fetcher 和 processer,
问题是如这些节点失效,正在处理的 task 会不会丢失?

解决方案

不会，如果其他节点失效，scheduler 会判断任务执行超时，然后发起重试，这个重试没有次数限制。
如果 scheduler 失效，它会从数据库恢复任务。
最坏的结果就是重抓一遍。

这篇关于pyspider - 分布式部署, 节点失效会不会到时 task 丢失?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！