multiprocessing相关内容

使用多重处理读取多个文件

我需要阅读一些非常大的文本文件(100+ Mb),使用正则表达式处理每一行并将数据存储到结构中.我的结构继承自defaultdict,它具有一个读取self.file_name文件的read(self)方法. 看看这个非常简单(但不是真实的)示例,我没有使用正则表达式,但是我正在分割行: import multiprocessing from collections import d ..
发布时间:2020-05-13 19:29:06 Python

如何在Python进程之间共享数据?

我正在使用多重处理为我的Python应用程序创建一个子流程. 我想在我的父进程和子进程之间共享数据. 值得一提的是,我需要异步共享它,这意味着子进程和父进程将在代码运行期间更新数据. 执行此操作的最佳方法是什么? 解决方案 这是python文档中的一个简单示例- from multiprocessing import Process, Queue def f(q): ..
发布时间:2020-05-13 19:29:01 Python

当父进程退出时,如何让子进程存活?

我想使用multiprocessing模块来完成此操作. 当我这样做时,例如: $ python my_process.py 我启动一个父进程,然后让父进程产生一个子进程, 然后我希望父进程退出自身,但子进程继续工作. 允许我写一个 WRONG 代码来说明自己: from multiprocessing import Process def f(x): ..
发布时间:2020-05-13 19:28:55 Python

多核CPU,多线程和上下文切换?

比方说,我们有一个具有20个内核的CPU和一个具有20个CPU密集型的进程,彼此独立:每个CPU内核一个线程. 我试图弄清楚在这种情况下是否发生上下文切换.我相信这是因为操作系统中也有一些系统进程也需要CPU时间. 我了解CPU架构不同,某些答案可能会有所不同,但请您解释一下: 上下文切换是如何发生的,例如在Linux或Windows以及某些已知的CPU架构上?在现代硬件的幕后到底会发 ..
发布时间:2020-05-13 19:28:53 其他开发

multiprocessing.Pool与全局变量

我正在使用python的多处理库中的Pool类编写将在HPC群集上运行的程序. 这是我要做的事情的抽象: def myFunction(x): # myObject is a global variable in this case return myFunction2(x, myObject) def myFunction2(x,myObject): myO ..
发布时间:2020-05-13 19:28:51 Python

无法腌制静态方法-多处理-Python

我在我的代码中应用了一些并行化,在其中我使用了类.我知道如果没有Python提供的其他方法,就不可能选择类方法.我在此处找到了解决方案.在我的代码中,我必须使用类将它们并行化的部分.在这里,我发布了一个非常简单的代码,仅表示我的结构(相同,但是我删除了方法内容,这是很多数学计算,对于我得到的输出而言无关紧要).问题是,因为我可以腌制一种方法(shepard_interpolation),但是用另一 ..
发布时间:2020-05-13 19:28:48 Python

在Python中的进程之间共享许多队列

我知道multiprocessing.Manager()及其如何用于创建共享对象,尤其是可以在工作程序之间共享的队列.存在此问题,这个问题,甚至是但是,我需要定义很多队列,每个队列都链接一对特定的进程.假设每对进程及其链接队列由变量key标识. 当我需要放置和获取数据时,我想使用字典来访问我的队列.我无法完成这项工作.我已经尝试了很多东西.将multiprocessing导入为mp: ..
发布时间:2020-05-13 19:28:46 Python

python ssl多处理问题

我想在多个客户端子进程的TLS TCP套接字中将数据从客户端发送到服务器,因此我与所有子进程共享同一个ssl套接字.通信可用于一个子进程,但是如果我使用多个子进程,则TLS服务器将崩溃,并显示ssl.SSLError(SSL3_GET_RECORD:解密失败或记录mac不良). 更具体的:它不依赖于哪个进程首先调用SSLSocket.write()方法,但是此进程是此时唯一可以调用该方法的进 ..
发布时间:2020-05-13 19:28:43 Python

具有不同功能的多进程池

多进程工作池的大多数示例在不同的进程中执行单个功能,例如 def foo(args): pass if __name__ == '__main__': pool = multiprocessing.Pool(processes=30) res=pool.map_async(foo,args) 是否有一种方法可以处理池中的两个不同且独立的功能?这样您就可以分配f.e. ..
发布时间:2020-05-13 19:28:40 Python

如果父项在Python中被杀死,则杀死子进程

我正在从python脚本中生成5个不同的进程,如下所示: p = multiprocessing.Process(target=some_method,args=(arg,)) p.start() 我的问题是,当父进程(主脚本)以某种方式被杀死时,子进程继续运行. 当父级被杀死时,有没有办法杀死像这样生成的子进程? 编辑: 我正在尝试: p = multiprocess ..
发布时间:2020-05-13 19:28:37 Python

大数据多处理

我正在使用multiprocessing.Pool()并行化一些繁重的计算. 目标函数返回大量数据(庞大的列表).我的RAM用完了. 在没有multiprocessing的情况下,我只是将目标函数转换为生成器,方法是yield在计算所得的元素时将其依次接一个. 我知道多处理不支持生成器-它等待整个输出并立即返回,对吗?没有屈服.是否有一种方法可以使Pool工作程序在数据可用时立即 ..
发布时间:2020-05-13 19:28:26 Python

Python多进程分析

我正在努力弄清楚如何分析一个简单的多进程python脚本 import multiprocessing import cProfile import time def worker(num): time.sleep(3) print 'Worker:', num if __name__ == '__main__': for i in range(5): ..
发布时间:2020-05-13 19:28:24 Python

多处理和GUI更新-Qprocess还是多处理?

在阅读了有关QProcesses和python的多处理模块的文献之后,我仍然难以在后台运行大型进程的情况下创建有效且响应迅速的GUI. 到目前为止,我已经提出了这个应用程序的简化版本,它仍然显示出与许多人所描述的问题类似的问题. from PyQt4 import QtCore, QtGui import multiprocessing as mp import numpy as np im ..
发布时间:2020-05-13 19:28:22 Python

与多处理事件和队列不兼容吗?

我正在尝试模拟使用扭曲运行的应用程序网络.作为仿真的一部分,我希望同步某些事件,并能够为每个进程提供大量数据.我决定使用多处理事件和队列.但是,我的进程变得异常混乱. 我写了下面的示例代码来说明问题.具体来说(大约95%的时间是在我的沙桥机器上),"run_in_thread"功能完成了,但是直到我按Ctrl-C之后才调用"print_done"回调. 另外,我可以更改示例代码中的几项 ..
发布时间:2020-05-13 19:28:19 Python

在子进程已经启动之后授予对共享内存的访问权限

如果仅在生成子进程后才可用,则如何授予子进程访问共享内存中的数据的权限(使用我知道 multiprocessing.sharedctypes.RawArray ,但我不知道如何让子进程访问在进程启动后创建的RawArray. 数据是由父进程生成的,并且数据量事先未知. 如果不是 GIL ,我将使用线程代替来完成此任务稍微简单一点.不能选择使用非CPython实现. 在使用mmap ..
发布时间:2020-05-13 19:28:17 Python

多重处理-共享复杂的对象

我有一个大型的dict类对象,需要在多个工作进程之间共享.每个工作人员都会读取对象中信息的随机子集,并对其进行一些计算.我想避免复制大对象,因为我的机器很快用完了内存. 我正在使用此SO问题的代码并对其进行了一些修改,以使用固定大小的进程池,该池更适合于我的用例.但是,这似乎破坏了它. from multiprocessing import Process, Pool from mul ..
发布时间:2020-05-13 19:28:12 Python

多处理问题[pyqt,py2exe]

我正在使用PyQt4编写GUI程序. 我的主窗口中有一个按钮 并单击此按钮. 我希望启动后台程序 这是派生的类的实例 来自processing.Process. class BackgroundTask(processing.Process): def __init__(self, input): processing.Process.__init__(self) ..
发布时间:2020-05-13 19:28:10 Python