multiprocessing相关内容

多处理AsyncResult.get()在Python 3.7.2中挂起，但在3.6中挂起

我正在尝试在Windows 10上将一些代码从Python 3.6移植到Python 3.7.我看到在AsyncResult对象上调用.get()时，多处理代码挂起.有问题的代码要复杂得多，但我将其简化为类似于以下程序的代码. import multiprocessing def main(num_jobs): num_processes = max(multiprocessin ..

发布时间：2020-05-13 19:27:14 python python-3.x multiprocessing python-multiprocessing Python

如何使用multiprocessing.Queue.get方法?

下面的代码将三个数字放在一个队列中.然后，它尝试从队列中取回数字.但是它永远不会.如何从队列中获取数据? import multiprocessing queue = multiprocessing.Queue() for i in range(3): queue.put(i) while not queue.empty(): print queue.get() 解 ..

发布时间：2020-05-13 19:27:12 python queue multiprocessing python-multiprocessing Python

为什么python多处理比串行代码花费更多的时间?如何加速呢?

我正在尝试Python多处理模块.在下面的代码中，串行执行时间为0.09秒，并行执行时间为0.2秒.由于我没有提速，我想我可能在某个地方出错了 import multiprocessing as mp from random import uniform, randrange import time # m = mp.Manager() out_queue = mp.Queue() de ..

发布时间：2020-05-13 19:27:09 python-2.7 parallel-processing multiprocessing parallelism-amdahl 其他开发

Python多处理Numpy随机

在多处理调用的函数中，numpy ndarray函数的范围是否有所不同?这是一个示例: 使用python的多处理模块，我正在这样调用一个函数: for core in range(cores): #target could be f() or g() proc = mp.Process(target=f, args=(core)) jobs.append(pro ..

发布时间：2020-05-13 19:27:06 python numpy multiprocessing Python

Windows和Linux之间的Python多进程差异

我有一个名为jobrunner.py的脚本，该脚本在main.py中调用类方法.见下文... # jobrunner.py from multiprocessing import Process import main from main import BBOX def _a(arg): f = main.a() print f.run() def _b(arg): ..

发布时间：2020-05-13 19:27:04 python multiprocessing globals Python

如何从子进程中传递变量(由Parallel :: ForkManager派生)?

我的查询: 在下面的代码中，我试图将打印的$commandoutput[0]转移或传递到即将到来的子例程中.跟随吗? 代码: my $max_forks = 4; #createThreads(); my %commandData; my @arr = ( 'bhappy', 'bload -m all -l -res CPUSTEAL', 'bqueues', ..

发布时间：2020-05-13 19:27:01 perl multiprocessing fork child-process 其他开发

Python多处理:子进程崩溃?

当python脚本打开子进程并且一个进程崩溃时会发生什么? https://stackoverflow.com/a/18216437/311901 主进程会崩溃吗? 其他子进程会崩溃吗? 是否传播了信号或其他事件? 解决方案 使用multiprocessing.Pool时，如果池中的一个子进程崩溃了，则根本不会收到通知，并且新的进程将立即开始.取代它: >>> ..

发布时间：2020-05-13 19:26:59 python multiprocessing Python

Python多重处理不断产生pythonw.exe进程，而没有做任何实际工作

我不明白为什么这样简单的代码 # file: mp.py from multiprocessing import Process import sys def func(x): print 'works ', x + 2 sys.stdout.flush() p = Process(target= func, args= (2, )) p.start() p.join() ..

发布时间：2020-05-13 19:26:57 python windows process multiprocessing Python

带有迭代器的多处理池

我想在迭代器中使用多处理池，以便在线程中执行一个将迭代器分成N个元素的函数，直到迭代器完成为止. import arcpy from multiprocessing import Pool def insert(rows): with arcpy.da.InsertCursor("c:\temp2.gdb\test" fields=["*"]) as i_cursor: ..

发布时间：2020-05-13 19:26:54 python multiprocessing Python

在进程之间共享具有文件句柄属性的对象

我对进程之间具有文件句柄的共享资源有疑问. 这是我的测试代码: from multiprocessing import Process,Lock,freeze_support,Queue import tempfile #from cStringIO import StringIO class File(): def __init__(self): self.tem ..

发布时间：2020-05-13 19:26:51 python multiprocessing Python

如何将python multiprocessing Process输出发送到Tkinter GUI

我正在尝试从Tkinter gui中显示的python多重处理过程中获取输出. 我可以通过gui将进程的输出发送到命令shell，例如，通过在shell提示符下运行下面的小脚本: from multiprocessing import Process import sys def myfunc(text): print text sys.stdou ..

发布时间：2020-05-13 19:26:49 python user-interface tkinter stdout multiprocessing Python

为什么多处理中的新对象具有相同的ID?

在尝试使用多处理模块时，我试图在一个流程中创建一个新对象.但是，有些事情使我感到困惑. 当我使用多处理模块时，新对象的ID是相同的 for i in range(4): p = multiprocessing.Process(target=worker) p.start() def worker(): # stanford named entity tagge ..

发布时间：2020-05-13 19:26:46 python multiprocessing Python

用subprocess.Popen在Python中检查进程的状态

如果我在Python中使用subprocess.Popen调用进程，如下所示: myproc = subprocess.Popen(...).communicate() 查看其状态的正确方法是什么? 不是输出到stdout或stderr，而是输出完成后的退出状态(例如0表示成功，另一个表示失败)? 解决方案 returncode确实是答案，但是解决方案不必太复杂. pr ..

发布时间：2020-05-13 19:26:44 python multiprocessing Python

使用多处理在tkinter中显示OpenCV视频

我目前正在尝试为多处理的OpenCV视频流开发 GUI .下面的代码确实成功完成了此操作，因为它显示了视频供稿和一个“退出"按钮，但运行方式很奇怪: 程序在pythonw.exe(我正在使用Windows)中在退出时中引发运行时错误(通过quit button或通过单击以关闭窗口'X')说程序 “要求运行时以异常方式终止" 任何关于如何解决该问题的想法将不胜感激！ 我的代码: ..

发布时间：2020-05-13 19:26:42 python opencv tkinter multiprocessing Python

多处理队列的最大大小限制为32767

我正在尝试使用多处理程序编写Python 2.6(OSX)程序，并且我想用超过32767个默认值的队列填充队列. from multiprocessing import Queue Queue(2**15) # raises OSError Queue(32767)可以正常工作，但是任何更高的数字(例如Queue(32768))都会失败，并显示OSError: [Errno 22] In ..

发布时间：2020-05-13 19:26:40 python queue multiprocessing max-size Python

对抗“不响应"的多处理GUI模式.阻塞

创建多处理/GUI编码系统的最佳方法是什么? 我想为互联网社区创建一个场所，以找到有关如何在python中使用multiprocessing模块的示例. 我在互联网上看到了几个简单的全局函数在Internet上的multiprocessing进程的小示例，这些示例在主模块中被调用，但是我发现这很少能轻易地转化为任何人实际上对GUI所做的任何事情.我认为许多程序将具有希望在单独的过程中用 ..

发布时间：2020-05-13 19:26:37 python multithreading qt user-interface multiprocessing Python

PyInstaller内置的Windows EXE失败并进行多处理

在我的项目中，我正在使用Python的multiprocessing库在__main__中创建多个进程.使用PyInstaller 2.1.1将项目打包到单个Windows EXE中. 我这样创建新流程: from multiprocessing import Process from Queue import Empty def _start(): while True: ..

发布时间：2020-05-13 19:26:34 python windows python-2.7 multiprocessing pyinstaller Python

一旦其中一个工人满足特定条件，终止Python多处理程序

我正在使用其多处理模块编写Python程序.该程序调用许多辅助函数，每个辅助函数产生一个随机数. 一旦其中一名工人生产的数值大于0.7，我需要终止该程序. 下面是我的程序，其中"操作方法"部分尚未填写.任何的想法?谢谢. import time import numpy as np import multiprocessing as mp import time import sys ..

发布时间：2020-05-13 19:26:32 python multiprocessing Python

并行读取大文件?

我有一个大文件，需要阅读并制作字典.我希望尽快.但是我在python中的代码太慢了.这是一个显示问题的最小示例. 首先制作一些虚假数据 paste largefile.txt 现在这是读取它并制作字典的最少的python代码. import sys from collections import def ..

发布时间：2020-05-13 19:26:30 python performance multiprocessing Python

上下文管理器和多处理池

假设您正在使用multiprocessing.Pool对象，并且正在使用构造函数的initializer设置传递初始值设定项函数，该函数随后在全局名称空间中创建资源.假设资源具有上下文管理器.如果上下文管理的资源必须在流程的整个生命周期中都存在，但最终要对其进行适当的清理，那么您将如何处理它的生命周期呢? 到目前为止，我有一些类似的东西: resource_cm = None reso ..

发布时间：2020-05-13 19:26:27 python multiprocessing contextmanager Python