pool相关内容

java内存池是如何划分的?

我目前正在使用 jconsole 监视 Java 应用程序.内存选项卡可让您选择: 堆内存使用非堆内存使用记忆池“伊甸空间"记忆池“幸存者空间"内存池“Tenured Gen"内存池“代码缓存"内存池“永久代" 它们之间有什么区别? 解决方案 堆内存 堆内存是 Java VM 为所有类实例和数组分配内存的运行时数据区域.堆的大小可以是固定的,也可以是可变的.垃圾收集器是一种自动内 ..
发布时间:2021-11-25 14:32:01 Java Web开发

Python:如何在多处理池中使用值和数组

对于带有 Process 的 multiprocessing,我可以通过设置 args 参数来使用 Value, Array. 使用 multiprocessing 和 Pool,我如何使用 Value,Array. 文档中没有关于如何执行此操作的内容. from multiprocessing import Process, Value, Array定义 f(n, a):n.value ..
发布时间:2021-11-18 05:09:13 其他开发

Apache Commons Pool 2 中的 maxTotal 和 maxIdle 有什么区别?

我正在使用 Apache Commons Pool 2 实现来为我的应用程序提供对象池机制. 截至目前,我已在我的代码中将 maxTotal() 和 maxIdle() 的默认值设置为 10. 但我无法理解它们之间的区别是什么?如果我将 maxIdle() 设置为一个非常小(假设为 0)或非常大(等于 maxTotal())的值会怎样? 注意:Apache 类在内部为上述两个配置 ..
发布时间:2021-11-11 23:23:23 其他开发

在 GenericObjectPool 中创建对象

我正在研究 GenericObjectPool,将 Cipher 放入池中以便重复使用. GenericObjectPool水池;CipherFactory factory = new CipherFactory();this.pool = new GenericObjectPool(工厂);pool.setMaxTotal(10);pool.setBlockWhenExhausted(true ..
发布时间:2021-11-11 23:21:44 其他开发

检查变量是否在字符串常量池中

在Java中,当我们在创建字符串对象时使用文字字符串时,我知道在SCP(字符串常量池)中创建了一个新对象. 有没有办法检查变量是在 SCP 中还是在堆中? 解决方案 首先,正确的术语是“字符串池",而不是“字符串常量池";参见 字符串池 - 做字符串始终存在于常量中游泳池? 其次,您没有检查变量.您正在检查某个变量包含/引用的字符串.(包含对字符串的引用的变量不能“在 SCP ..
发布时间:2021-06-18 20:10:36 其他开发

Python Multiprocessing:并行执行前后串行执行代码

这里的新手:我正在尝试串行执行一些代码,然后创建一个线程池并并行执行一些代码.并行执行完成后,我想串行执行更多代码. 例如... 导入时间从多处理导入池print("我只想打印一次这个语句")定义工人(i):"""工人函数"""现在 = time.time()time.sleep(i)then = time.time()打印(现在,然后)如果 __name__ == '__main__': ..
发布时间:2021-06-18 20:10:33 其他开发

Python 多处理 imap

今天我又有一个关于多处理的问题...我有一个小的示例代码: 导入多处理定义功能(一):v = a**2w = a**3x = a**4y = a**5z = a**6b = [1,2,3,4,5,6,7,8,9,10]如果 __name__ == "__main__":pool = multiprocessing.Pool(processes=4)pool.imap(函数,b) 结果应该是 5 ..
发布时间:2021-06-18 20:10:29 其他开发

将 Python 池与上下文管理器一起使用或关闭并加入

Python 文档有 格式的示例 with Pool() as p:p.map(做) 但我看到很多人使用下面的格式. p = Pool()p.map(做)p.close()p.join() 哪个更受欢迎? 解决方案 我认为使用 Pool 作为上下文管理器(例如,with ...)是可取的.它是 Pool 的新增功能,可让您更清晰地封装池的生命周期. 需要注意的一件事是,当 ..
发布时间:2021-06-18 20:10:27 其他开发

spring中如何配置CommonsPool2TargetSource?

这让我脖子痛!!!我有三个查询. 1)我想在我的项目中配置 CommonsPool2TargetSource 以汇集我的自定义 POJO 类. 到目前为止我做了什么: MySpringBeanConfig 类: @Configuration@EnableWebMvc@ComponentScan(basePackages = {"com.redirect.controller" ..
发布时间:2021-06-18 20:10:23 其他开发

Python 多处理:如何限制等待进程的数量?

使用Pool.apply_async运行大量任务(大参数)时,进程被分配并进入等待状态,等待进程数没有限制.这可能会耗尽所有内存,如下例所示: 导入多处理将 numpy 导入为 np定义 f(a,b):返回 np.linalg.solve(a,b)定义测试():p = multiprocessing.Pool()对于 _ 范围(1000):p.apply_async(f, (np.random. ..
发布时间:2021-06-18 20:10:19 其他开发

为什么 pool.map 比普通地图慢?

我正在尝试以下代码: 导入多处理导入时间随机导入定义平方(x):返回 x**2pool = multiprocessing.Pool(4)l = [random.random() for i in xrange(10**8)]现在 = time.time()pool.map(square, l)打印 time.time() - 现在现在 = time.time()地图(正方形,升)打印 time ..
发布时间:2021-06-04 19:57:56 其他开发

python - 如何通过pool.imap()函数传递数据以外的参数以在python中进行多处理?

我正在研究高光谱图像.为了减少图像中的噪声,我使用 pywt 包使用小波变换.当我正常执行此操作(串行处理)时,它运行顺利.但是当我尝试使用多核对图像进行小波变换来实现并行处理时,我必须传递某些参数,例如 小波族 阈值 阈值技术(硬/软) 但是我无法使用池对象传递这些参数,当我使用 pool.imap() 时,我只能将数据作为参数传递.但是当我使用 pool.apply_async ..
发布时间:2021-06-04 19:57:53 其他开发

使用 starmap() Python 创建对象 + 调用函数的多处理

我想创建 Training 类的对象并创建多个调用 print() 函数的进程. 我有一个课程培训: class Training():def __init__(self, param1, param2):self.param1 = param1self.param2 = param2定义打印(自我):打印(self.param1)打印(self.param2) 我尝试使用 starma ..
发布时间:2021-06-04 19:57:03 其他开发

具有多个 args 和 kwargs 的函数的 Multiprocessing.pool

我想使用 mutliprocessing.pool 方法并行计算.问题是我想在计算中使用的函数有两个 args 和可选的 kwargs,第一个参数是数据帧,第二个参数是 str,任何 kwargs 是字典. 对于我尝试执行的所有计算,我想要使用的数据框和字典都是相同的,只是第二个不断变化的参数.因此,我希望能够使用 map 方法将它作为不同字符串的列表传递给已经使用 df 和 dict 打包 ..
发布时间:2021-06-04 19:56:05 其他开发

Python 多处理池 OSError:打开的文件太多

我必须检查 do_something() 为一对包含 30k 元素的列表总共花费多少时间.下面是我的代码 def run(a, b, data):p = datetime.datetime.now()val = do_something(a, b, 数据[0], 数据[1])q = datetime.datetime.now()res = (q - p).微秒返回资源 接下来,我使用以下代码调 ..
发布时间:2021-06-04 19:55:46 其他开发

使用 multiprocessing.Pool 进行异常处理

from multiprocessing import Pool定义 f(arg):如果参数 == 1:引发异常(“异常")返回 "你好 %s" % argp = 池(4)res = p.map_async(f,(1,2,3,4))p.close()p.join()res.get() 考虑这个人为的例子,我正在创建一个由 4 个工作人员组成的进程池,并在 f() 中分配工作.我的问题是: ..
发布时间:2021-06-04 19:53:47 其他开发

使用 numpy/scipy 最小化 Python multiprocessing.Pool 中的开销

我花了几个小时尝试不同的方法来并行化我的数字运算代码,但是当我这样做时它只会变得更慢.不幸的是,当我尝试将其简化为下面的示例时,问题就消失了,而且我真的不想在这里发布整个程序.那么问题来了:在这类程序中我应该避免哪些陷阱? (注:Unutbu 回答后的跟进在底部.) 情况如下: 它是关于一个模块,它定义了一个包含大量内部数据的 BigData 类.在这个例子中有一个插值函数列表f ..
发布时间:2021-06-04 19:52:15 其他开发

python进程池在每个进程上超时而不是所有池

我需要运行多个进程,但不能同时运行,例如同时运行 4 个进程.multiprocessing.Pool 正是我所需要的.但问题是,如果进程持续时间超过超时(例如 3 秒),我需要终止进程.Pool 只支持等待所有进程的超时,而不是每个进程.这就是我需要的: def f():process_but_kill_if_it_takes_more_than_3_sec()pool.map(f, 输入) ..
发布时间:2021-06-04 19:51:21 其他开发

WebScraping 的多处理不会在 Windows 和 Mac 上启动

几天前我在这里问了一个关于多处理的问题,一位用户给我发送了你可以在下面看到的答案.唯一的问题是这个答案在他的机器上有效,在我的机器上无效. 我曾在 Windows (Python 3.6) 和 Mac (Python 3.8) 上尝试过.我已经在安装附带的基本 Python IDLE、Windows 上的 PyCharm 和 Jupyter Notebook 上运行了代码,但没有任何反应.我 ..
发布时间:2021-06-04 19:50:53 其他开发