python 多进程 或者 多线程下如何高效的同步数据?

查看:74
本文介绍了python 多进程 或者 多线程下如何高效的同步数据?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

问 题

在多线程 /多进程时,通过queue之类轻松获取任务。但是当任务完成后,为了统计当前任务的完成数量.需要对一个值进行累加.
目前多线程/多进程情况下。我用到的是线程的lock/ 进程的manager + 进程的lock,来处理记数的同步问题。
但是感觉效率太低了。不够优雅。

请问有什么更好的方式来处理?

感觉这种问题应该经常会用到。应该早就存在各种完美的解决方法。
只是我还没注意到。

解决方案

进程间通信的问题,可以用你喜欢的(熟悉的、可以用的)方式来解决。
下面提供一种方式:

zmq 的 pushpull 模式
http://learning-0mq-with-pyzm...

这篇关于python 多进程 或者 多线程下如何高效的同步数据?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆