pathos相关内容

BrokenPipeError：[Errno 32]Python多处理

我在做一个Web抓取项目，但处理数据花费了很多时间，我想了一个替代方法来抓取被抓取的产品的源代码，然后单独处理数据。 我所做的是，将每个产品的源代码分别存储在数组中的元组中，并将该数组数据保存在文本文件中，以供以后进一步处理。我将数据保存为10,000个产品的大块。每个文本文件大小约为10 GB。 当我开始使用多处理来处理数据时，我不断地遇到BrokenPipeError：[Error ..

发布时间：2022-04-10 21:00:35 python python-3.x python-multiprocessing pathos Python

带有悲情的 Python 多处理

我正在尝试使用 Python 的 pathos 将计算指定到单独的进程中，以便使用多核处理器加速它.我的代码组织如下: 类:def foo(自我，姓名):...setattr(自我，姓名，某事)...def 嘘(自我):对于列表中的名称:self.foo(名字) 由于我在使用 multiprocessing.Pool 时遇到了酸洗问题，所以我决定尝试一下 pathos.我尝试过，如先前主题中所 ..

发布时间：2022-01-12 12:33:51 python multiprocessing pool pathos Python

如何运行嵌套的、分层的 pathos 多处理映射?

在 dill 序列化/pickling 上构建了我的代码的重要部分后，我还尝试使用 pathos 多处理来并行化我的计算.悲情它是莳萝的自然延伸. 尝试运行嵌套时 from pathos.multiprocessing import ProcessingPoolProcessingPool().map(fn, args) 在另一个 ProcessingPool().map 中，然后我收到 ..

发布时间：2021-12-30 21:41:37 python parallel-processing python-multiprocessing pathos Python

pathos.multiprocessing 有星图吗?

我在执行下面的代码时出错.问题似乎是 map 不支持接受多个输入的函数，就像在 python 内置的 multiprocessing 包中一样.但是在内置包中，有一个starmap可以解决这个问题.pathos.multiprocessing 是否相同? import pathos.multiprocessing 作为 mp班级酒吧:def foo(self, name):返回 len(str( ..

发布时间：2021-06-04 19:51:52 python-3.x multiprocessing pathos 其他开发

python pathos的酸洗问题

import pathos.multiprocessing as mp class Model_Output_File(): """ Class to read Model Output files """ def __init__(self, ftype = ''): """ Constructor """ ..

发布时间：2020-07-02 19:27:06 python python-multiprocessing pathos Python

Python:(Pathos)多处理与类方法

我正在尝试通过多处理使用类方法并行化代码.基本结构如下: # from multiprocessing import Pool from pathos.multiprocessing import ProcessingPool as Pool class myclass(object): def __init__(self): #some code def ..

发布时间：2020-05-27 20:19:14 python pickle python-multiprocessing pathos Python

如何运行嵌套的层次化多层处理映射?

我已经在莳萝序列化/腌制上构建了代码的重要部分，我还尝试使用pathos多处理来并行化我的计算.可悲的是，它是莳萝的自然延伸. 当尝试运行嵌套时 from pathos.multiprocessing import ProcessingPool ProcessingPool().map(fn, args) 在另一个ProcessingPool().map内，然后我收到: As ..

发布时间：2020-05-24 20:56:06 python parallel-processing python-multiprocessing pathos Python

Windows操作系统中的pathos软件包

Hie，谁能告诉我如何在Windows OS中安装python的pathos软件包.我想在Windows OS中安装Pathos.酸洗和酸洗时出现错误， 解决方案 我是悲哀的作者.这对我有用: 安装了Visual Studio Community 2015 RC 为Visual Studio 2015安装了Python Tools 2.2 RC 为Python 2.7安装了Mic ..

发布时间：2020-05-23 19:41:29 python windows package pathos Python

悲哀的多重处理不能泡菜

我遇到与此 person 相似的问题.我无法在pathos模块中运行简单的多处理例程，并收到一个酸洗错误.下面是代码和错误. from pathos.multiprocessing import ProcessingPool import dill class ProcClass(object): def __init__(self): pass def f( ..

发布时间：2020-05-14 00:04:33 python multithreading python-2.7 pickle pathos Python

Python Pathos进程池是否非守护进程?

我如何在python3中而不是在多处理模块中使用pathos实现非守护进程? 更具体地说，我指的是: Python进程池非守护程序? 这篇文章的答案通过多处理模块实现了非守护进程.不幸的是，该模块不允许在其他对象中使用lambda函数，但在Python 2中却可以这样做. #import multiprocessing #import multiprocessing.pool i ..

发布时间：2020-05-13 20:18:03 python-3.x multiprocessing pool pathos 其他开发

python multiprocessing scipy.stats.lognorm.fit

我想用scipy适应许多发行版，并想为此使用某种多重处理.像这样: import scipy.stats as ss from pathos.multiprocessing import ProcessingPool from multiprocessing import Pool mp = Pool() pp = ProcessingPool() l = [0,1,2,3,4,6,7, ..

发布时间：2020-05-13 20:16:33 python scipy multiprocessing pathos Python

使用Python和Windows中的Pathos多处理工具

我有一些代码可以使用多处理库的pathos扩展来执行某些操作.我的问题是如何使用更复杂的辅助函数-在本例中为New_PP.我应该如何格式化缓冲线以处理我的辅助函数需要的字典才能给我结果. Python默认将字典设置为全局变量，但是在辅助函数的范围内，我得到与该字典(access_dict)相关的错误，因此我该如何发送字典或确保它对我的辅助线程可用. Nchunks = 10 ..

发布时间：2020-05-13 20:16:12 python multiprocessing python-multiprocessing pathos Python

Pathos多处理池CPickle错误

当我尝试运行以下代码时: from pathos.multiprocessing import ProcessingPool as Pool list1 = [1,2,3,4,5] list2 = [6,7,8,9,10] def function1(x,y): print x print y if __name__ == '__main__': pool = Poo ..

发布时间：2020-05-13 20:11:36 python multiprocessing pathos Python

使用Pathos的分布式集群的Python多处理

我正在尝试在多台不同的计算机上使用多重处理，而pathos似乎是 设置具有安全身份验证的远程服务器或一组远程服务器. 安全地连接远程服务器. 使用简单的API(例如标准多处理程序包中的pool.map)在远程服务器和本地计算机上的所有CPU上映射任务(例如 我没有看到(1)的示例，并且我不理解解决方案 我是pathos的作者.基本上，对于(1)，您可以使用pathos.pp通过套接字连接连 ..

发布时间：2020-05-13 20:10:29 python multiprocessing python-multiprocessing pathos Python

多处理numpy的未定义错误

我正在使用以下测试代码: from pathos.multiprocessing import ProcessingPool as Pool import numpy def foo(obj1, obj2): a = obj1**2 b = numpy.asarray(range(1,5)) return obj1, b if __name__ == '__main__ ..

发布时间：2020-05-13 20:05:57 python numpy multiprocessing pathos Python

Python多重处理:AttributeError:'Test'对象没有属性'get_type'

简短的简短版本: 我无法并行化使用实例方法的代码. 长版: 此python代码产生错误: Error Traceback (most recent call last): File "/Users/gilzellner/dev/git/3.2.1-build/cloudify-system-tests/cosmo_tester/test_suites/stress_te ..

发布时间：2020-05-13 20:05:54 python multiprocessing pickle dill pathos Python

如何更改进度条的位置–多处理

首先，我是Python的新手.这个问题无关紧要，但是我不得不提. 我正在创建一个搜寻器作为我的第一个项目，以了解Python中的工作方式，但是到目前为止，这是我的主要问题...在使用requests和pathos.multiprocessing. 我设法遍历了所有内容，我只想拥有更漂亮的输出，所以我决定添加进度条.我正在使用tqdm，因为我喜欢它的外观，而且似乎最容易实现. 这是 ..

发布时间：2020-05-13 19:42:52 python python-3.x multiprocessing python-requests pathos Python

使用pathos.multiprocessing时出现cPickle错误?

我正在尝试使用多重处理来加快熊猫excel的阅读速度.但是，当我使用多处理时，我得到了错误 cPickle.PicklingError:无法腌制:属性查找__builtin __.function失败 当我尝试运行以下命令时: 进口莳萝 从pathos.multiprocessing导入ProcessPool class A(object): def __init__(self ..

发布时间：2020-05-13 19:41:35 python-2.7 pandas multiprocessing pathos Python

与多处理一起使用时，PyTesseract调用的工作非常缓慢

我有一个函数，可以在将OCR应用于图像后，获取图像列表并在列表中生成输出.我还有另一个功能，可以使用多重处理来控制此功能的输入.因此，当我只有一个列表(即没有多重处理)时，列表中的每个图像大约要花费1s，但是当我将必须并行处理的列表增加到4时，每个图像却要花费惊人的13s. 要了解问题的真正出处，我尝试创建该问题的最小限度的工作示例.在这里，我有两个函数eat25和eat100，它们打开图像 ..

发布时间：2020-05-13 19:39:40 python multiprocessing tesseract pathos python-tesseract Python

带有Pathos的Python多处理

我正在尝试使用Python的方法将计算指定到单独的进程中，以便使用多核处理器来加速它.我的代码的组织方式如下: class: def foo(self,name): ... setattr(self,name,something) ... def boo(self): for name in list: self.foo(na ..

发布时间：2020-05-13 19:29:45 python multiprocessing pool pathos Python