shared-memory相关内容

如何使所有分布式节点的RAM对单个节点可用?

我已经在Linux上开发了一个应用程序,它将受益于一个具有更多RAM的进程,而不是将单个进程卸载到具有较少RAM的较小计算节点上。因此,这是我在这里研究的一个选项。 我希望在主节点上运行一个进程,同时以某种方式使所有计算节点上的所有可用RAM对主节点显示为一大块可用RAM(就像单个系统一样)。 据我所知,这种单一系统映像(SSI)的使用现在称为分布式共享内存(DSM)。我一直在查看单个系统映像 ..
发布时间:2022-06-19 14:24:43 其他开发

退出时删除共享内存

我有两个脚本,一个用于创建和写入共享内存块,另一个用于读取该共享内存。 问题是,当第一个脚本结束时,即使我不解除它的链接,共享内存也会被删除。 这是我的第一个脚本: import argparse import csv import os import subprocess import sys import time from classes.rtData import RtData f ..
发布时间:2022-05-18 09:41:03 其他开发

使用运行进程的共享内存收集核心转储

核心转储仅收集进程空间,而不收集为进程间通信创建的共享内存。如何使核心转储也包含正在运行的进程的共享内存? 推荐答案 在/proc/PID/coredump_filter中设置核心文件筛选器http://man7.org/linux/man-pages/man5/core.5.html: 控制将哪些映射写入核心转储 Since kernel 2.6.23, the L ..
发布时间:2022-05-18 09:37:09 服务器开发

Windows共享内存段

我在谷歌上搜索了一下,还没有找到一个明确的答案,所以我希望有人能对Windows和Linux中的共享内存段有一些了解。 在Linux中,有两种为IPC创建共享内存的方法:共享内存段(shmget等)和内存映射文件(Mmap)。根据我的简单理解,mmap要求您在操作系统中的某个地方有一个要映射的实际文件,而共享内存段只是内存中可以由进程附加的基于名称的段。 在Windows中,似乎只有内存映 ..
发布时间:2022-05-18 09:12:51 其他开发

共享内存和写入时复制或右值引用以及移动语义?

通用容器(如 Qt 容器中的容器)的共享内存/写入时复制实现是否被 C++11 移动语义和右值引用取代? 一个失败而另一个成功的地方在哪里?还是它们是互补而非替代? 解决方案 写入时复制和移动语义都已用于优化将数据保存在堆上的对象的值语义.例如,std::string 既被实现为写时复制对象,又被实现为启用移动的对象. 所以写时复制和移动语义在这方面是相似的:如果你足够松散地定 ..

Python的Multiprocessing之进程通信

我了解了 Python 多进程的 Pipes/Queues/Shared ctypes Objects/Managers,我想将它们与 Linux 的匿名管道、命名管道、共享内存、套接字等进行比较.我现在有以下问题 Python 多处理的管道和队列模块是基于匿名管道的.是否提供命名管道? Python multiprocessing.sharedctypes 是否支持独立进程沟通?我认 ..
发布时间:2022-01-12 13:12:02 Python

让我的 NumPy 数组跨进程共享

我已经阅读了很多关于 SO 的关于共享数组的问题,对于简单的数组来说似乎很简单,但我一直试图让它适用于我拥有的数组. 将 numpy 导入为 np数据=np.zeros(250,dtype='float32, (250000,2)float32') 我尝试通过尝试以某种方式使 mp.Array 接受 data 来将其转换为共享数组,我还尝试使用 ctypes 来创建数组: import mu ..
发布时间:2022-01-12 13:11:34 Python

如何在 Python 中使用 Managers() 在多个进程之间共享字符串?

我需要从主进程中读取由 multiprocessing.Process 实例编写的字符串.我已经使用管理器和队列将参数传递给进程,所以使用管理器似乎很明显,但是Managers不支持字符串: Manager() 返回的管理器将支持类型列表、字典、命名空间、锁、RLock、信号量、有界信号量、条件、事件、队列、值和数组. 如何使用多处理模块中的管理器共享由字符串表示的状态? 解决方 ..
发布时间:2022-01-12 13:05:40 Python

有效地将函数并行应用于分组的 pandas DataFrame

我经常需要将一个函数应用到一个非常大的DataFrame(混合数据类型)的组中,并希望利用多个内核. 我可以从组中创建一个迭代器并使用多处理模块,但效率不高,因为每个组和函数的结果都必须为进程之间的消息传递进行腌制. 有什么方法可以避免酸洗甚至完全避免 DataFrame 的复制?看起来多处理模块的共享内存功能仅限于 numpy 数组.还有其他选择吗? 解决方案 从上面的评论看 ..
发布时间:2022-01-12 13:02:41 Python

在进程之间共享字典

我创建了一个单独的进程来处理我的云服务.我是这样生成的: CldProc = Process(target=CloudRun)CldProc.start() 我想知道我是否可以在该 CloudProc 和我当前的主进程之间拥有一个共享字典? 编辑:或者,我正在考虑使用 pickle 将我的数据从进程中转储到文件中并重新加载,这需要我使用 join() 来等待进程完成并退出. 第二次 ..
发布时间:2022-01-12 12:58:45 其他开发

使用python多处理动态创建共享数组列表

我想使用 python 的多处理模块在不同的子进程之间共享几个 numpy 数组.我希望这些数组可以单独锁定,并且我希望在运行时动态确定数组的数量.这可能吗? 在this answer中,J.F. Sebastian 提出了一种在多处理时在共享内存中使用 python 的 numpy 数组的好方法.该阵列是可锁定的,这就是我想要的.我想做一些非常相似的事情,除了可变数量的共享数组.数组的数量 ..
发布时间:2022-01-12 12:46:20 Python

我可以以某种方式与子进程共享一个异步队列吗?

我想使用队列将数据从父进程传递到通过 multiprocessing.Process 启动的子进程.但是,由于父进程使用 Python 的新 asyncio 库,队列方法需要是非阻塞的.据我了解, asyncio.Queue 用于任务间通信,不能用于进程间通信.另外,我知道 multiprocessing.Queue 有 put_nowait() 和 get_nowait() 方法,但我实际上需要 ..
发布时间:2022-01-12 12:42:23 Python

在子进程已经启动后授予对共享内存的访问权限

如果数据仅在子进程生成后可用(使用 multiprocessing.Process)? 我知道 multiprocessing.sharedctypes.RawArray,但我不知道如何让我的子进程访问在进程已经启动后创建的 RawArray . 数据由父进程生成,数据量事先不知道. 如果不是 GIL 我会使用线程来代替这将完成这项任务简单一点.使用非 CPython 实现不是一 ..
发布时间:2022-01-12 12:35:26 Python