python - pyspider分布式下可以控制某一工程的工作节点数量么？

问题描述

问 题

请问，pyspider 在分布式下，可以控制某一个工程的工作节点数量么？比如我有三个工作节点，但是某一个工程我只想让它在一个工作节点上运行，这个该怎么做？

解决方案

你需要自己实现这一功能

控制工作节点会增大部署和 debug 的负担，所以节点越平等越扁平更好。

如果你确实需要这个功能，在节点前增加一个 dispatcher 分发器的模块，根据你需要的条件分发到特定节点即可。

这篇关于python - pyspider分布式下可以控制某一工程的工作节点数量么？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！