multiprocessing相关内容

在修饰器内部运行多进程

我想更新一下关于装饰器内部多进程的问题(我之前的问题对我来说似乎已经死了：)。我偶然发现了这个问题，不幸的是，我不知道如何解决这个问题。为了我的应用程序的需要，我不得不在装饰器中使用多进程，但是...当我在修饰器内部使用多进程时，我收到错误： Can't pickle : it's not found as ..

发布时间：2022-04-07 12:35:51 python multiprocessing decorator pickle Python

Python多进程可以拾取OpenCV视频捕获对象

我正在尝试创建一个独立的进程来处理从相机获取的图像。但多处理器似乎很难从OpenCV中提取视频捕获模块。有没有人能推荐一种解决办法？我使用的是python3.7.1 from multiprocessing import Process import multiprocessing as mp import time import logging import logging.handler ..

发布时间：2022-04-07 12:28:37 python opencv multiprocessing pickle Python

在Spyder中运行Pytorch神经网络时出现属性错误

我试图运行神经网络以了解有关分类嵌入的更多信息(神经网络代码的解释在此处https://yashuseth.blog/2018/07/22/pytorch-neural-network-for-tabular-data-with-categorical-embeddings/)，但Spyder在尝试运行循环后最后给出了AttributeError。 回溯(最近一次调用)： 文件第1行，第1行 ..

发布时间：2022-04-05 22:24:22 python pytorch multiprocessing spyder attributeerror Python

如何在当前的Python应用程序中使用多处理？

我有一个应用程序，它从不同的目录读取数千个文件，它读取它们，对它们进行一些处理，然后将数据发送到数据库。我有一个问题，大约需要几分钟。1小时完成1个目录中的所有文件，我有19个目录(将来可能会更多)。现在是一个接一个目录地运行，我想并行运行所有东西，这样我就可以加快速度。 这是我的代码： import mysql.connector import csv import os impor ..

发布时间：2022-03-26 15:55:19 python multithreading multiprocessing config mysql-python Python

如何在Django命令中使用多进程？

我尝试在django命令中使用ProcessPoolExecutor同时获得一些结果。我尝试使用以下代码获取它 # main codes import json import time import datetime from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor from redis im ..

发布时间：2022-03-25 22:08:39 django multiprocessing python-3.6 其他开发

Python多处理在以下文档代码中返回AttributeError

我决定尝试进入多处理器模块，以帮助加速我的程序。为了解决这个问题，我尝试使用有关多处理的官方python文档中的一些代码示例。 第一次尝试：Introduction >>> from multiprocessing import Pool >>> >>> def f(x): ... return x*x ... >>> if __name__ == '__main__': .. ..

发布时间：2022-03-25 21:09:43 python python-3.x multiprocessing python-3.6 Python

多处理代码重复运行

所以我希望使用python多处理模块创建一个进程，我希望它是一个更大的脚本的一部分。(我还想从中得到很多其他东西，但现在我将满足于此) 我从multiprocessing docs复制了最基本的代码，并对其稍作修改 但是，if __name__ == '__main__':语句之外的所有内容在每次调用p.join()时都会重复。 这是我的代码： from multiproc ..

发布时间：2022-02-26 11:05:56 python multiprocessing runtime-error Python

如何解决使用Pool.map()进行多处理时的内存问题？

我已经将程序(如下)写到： 将大型文本文件读取为pandas dataframe 然后groupby使用特定列值拆分数据并存储为数据帧列表。 然后通过管道将数据传送到multiprocess Pool.map()以并行处理每个数据帧。 一切都很好，程序在我的小测试数据集上运行良好。但是，当我输入我的大数据(大约14 GB)时，内存消耗呈指数级增加，然后冻结计算机或被杀死(在HPC集 ..

发布时间：2022-02-23 19:57:45 python pandas memory multiprocessing python-multiprocessing Python

Python-如何使用FastAPI和uvicorn.run而不阻塞线程？

我正在寻找将uvicorn.run()与FastAPI应用程序一起使用的可能性，但没有uvicorn.run()会阻塞线程。我已经尝试使用进程、子进程和线程，但都不起作用。 我的问题是，我想从另一个进程启动服务器，该进程应该在启动服务器之后继续执行其他任务。此外，我在从另一个进程以这种方式关闭服务器时遇到问题。 有人知道如何使用uvicorn.run()非阻塞，以及如何从另一个进程停止它吗？ ..

发布时间：2022-02-23 19:56:24 python multiprocessing fastapi uvicorn Python

如何从多个进程递增共享计数器？

我在使用multiprocessing模块时遇到问题。我使用Pool个工作者及其map方法并发分析大量文件。每次处理文件时，我都希望更新计数器，这样我就可以跟踪还有多少文件需要处理。以下是示例代码： import os import multiprocessing counter = 0 def analyze(file): # Analyze the file. gl ..

发布时间：2022-02-23 19:54:35 python multiprocessing Python

当CPU仅在pytorch中可用时，如何并行化一批样本的训练循环？

我希望对单个示例或一批示例进行并行化(在我的情况下，我只有CPU，最多可以有112个)。我试过了，但我得到了一个错误，即损失不能从单独的进程中获得梯度(这完全破坏了我的尝试)。我仍然想这样做，重要的是，在多进程处理之后，我可以执行优化器步骤。我怎么才能绕过它呢？我做了一个完全自成体系的例子： import torch import torch.nn as nn from torch.opt ..

发布时间：2022-02-21 22:58:17 machine-learning deep-learning multiprocessing pytorch conv-neural-network AI人工智能

如何实现硒刮板的并行运行

我正在尝试使用scrapy和Selenium抓取一个javascript网站。我使用Selenium和Chrome驱动程序打开javascript网站，使用scrapy从当前页面抓取指向不同清单的所有链接，并将它们存储在列表中(到目前为止，尝试使用seleniumRequest跟踪链接并回调到解析新页面函数会导致很多错误)。然后，我循环遍历URL列表，在Selenium驱动程序中打开它们，并从页面 ..

发布时间：2022-02-21 12:15:58 python selenium web-scraping scrapy multiprocessing Python

Julia 相当于 Python multiprocessing.Pool.map

我的多处理需求非常简单:我从事机器学习工作，有时我需要评估多个数据集中的算法，或数据集中的多个算法，等等.我只需要运行一个带有一些参数的函数并获取一个数字. 我不需要 RPC、共享数据，什么都不需要. 在 Julia 中，我收到以下代码错误: 类型模型参数结尾# 1. 我有几个算法/模型models = [Model(i) for i in 1:50]# 2. 我有一个数据集X = ..

发布时间：2022-01-23 19:47:21 multiprocessing julia 其他开发

在 Python 多进程中使用管理器更新队列

我正在设计一个 Python 多处理代码以在一个队列中工作，该队列可能会在处理过程中更新.下面的代码有时会起作用，或者卡住，或者出现 Empty 错误. import multiprocessing as mpdef 工人(工作队列，输出队列):而真:如果 working_queue.empty() 为真:休息别的:挑选 = working_queue.get_nowait()如果选择 % 2 ..

发布时间：2022-01-21 12:33:28 python queue multiprocessing Python

多处理:在 PyObject_Call 中没有错误的 NULL 结果

..

发布时间：2022-01-21 12:22:38 python numpy multidimensional-array queue multiprocessing Python

处理(在 python 中)IOError 的正确方法是什么:[Errno 4] Interrupted system call，由 multiprocessing.Queue.get 引发

当我使用 multiprocessing.Queue.get 时，有时由于 EINTR 会出现异常. 我清楚地知道，有时这种情况会无缘无故地发生(我在 tmux 缓冲区中打开另一个窗格)，在这种情况下，我想继续工作并重试该操作. 我可以想象，在某些其他情况下，错误是有充分理由的，我应该停止运行或修复一些错误. 如何区分两者? 提前致谢 解决方案 当应用程序在等待其他 ..

发布时间：2022-01-21 12:20:57 python error-handling queue multiprocessing ioerror Python

蟒蛇->多处理模块

这就是我想要完成的 - 我有大约一百万个文件需要解析 &将解析后的内容附加到单个文件中. 由于单个进程需要很长时间，因此此选项已失效. 不使用 Python 中的线程，因为它本质上是运行单个进程(由于 GIL). 因此使用多处理模块.即产生 4 个子进程来利用所有原始核心功能:) 到目前为止一切顺利，现在我需要一个所有子进程都可以访问的共享对象.我正在使用多处理模块中的队列.此外 ..

发布时间：2022-01-21 12:15:30 python queue multiprocessing Python

Python多处理使用队列写入同一个文件

我知道 Stack Exchange 上有很多关于将结果从多处理写入单个文件的帖子，我只阅读了这些帖子就开发了我的代码.我想要实现的是并行运行“RevMapCoord"函数，并使用 multiprocess.queue 将其结果写入一个文件中.但是我在排队工作时遇到了问题.我的代码: def RevMapCoord(list):“读取文件，查找字符串并做某事"def feed(队列，parlis ..

发布时间：2022-01-21 12:15:24 python file-io queue multiprocessing Python

AttributeError: Can't pickle local object 'computation.. function1 using multiprocessing queue

我有以下使用调度程序和多处理模块的代码: def 计算():定义函数1(q):而真:daydate = datetime.now()number = random.randrange(1, 215)print('发送到 function2: ({}, {})'.format(daydate, number))q.put((日期，数字))时间.sleep(2)定义函数2(q):而真:日期，数字 = ..

发布时间：2022-01-21 12:08:43 python queue multiprocessing scheduler schedule Python

TypeError:无法腌制“weakref"对象

这里是多处理的新手.我有一个运行两个进程的代码.一个是不断地从服务器接收数据块并将其放入队列中，另一个是从队列中取出数据块并进行处理. 下面是我的客户端代码: 导入套接字进口龟导入多处理从多处理导入进程，队列从 tkinter 导入 *类图形用户界面:def __init__(self, master):rec_data = recv_data()self.master = 主人maste ..

发布时间：2022-01-21 12:05:09 python tkinter tcp multiprocessing queue Python