r-bigmemory相关内容

R中的并行foreach共享内存

问题描述: 我有一个大矩阵 c，加载在 RAM 内存中.我的目标是通过并行处理对它进行只读访问.但是，当我使用 doSNOW、doMPI、big.matrix 等创建连接时，使用的 ram 数量急剧增加. 有没有办法正确创建共享内存，所有进程都可以从其中读取数据，而无需创建所有数据的本地副本? 示例: libs ..
发布时间：2021-12-26 12:10:09 其他开发

使用 big.matrix 对象计算欧几里得距离矩阵

我在 R 中有一个 big.matrix 类的对象，维度为 778844 x 2.这些值都是整数(公里).我的目标是使用 big.matrix 计算欧几里得距离矩阵，并得到一个 big.matrix 类的对象.我想知道是否有最佳方法可以做到这一点. 我选择使用 big.matrix 类的原因是内存限制.我可以将我的 big.matrix 转换为 matrix 类的对象，并使用 dist() ..
发布时间：2021-12-18 23:48:42 其他开发

从Rcpp中的bigmemory对象提取具有NA的列

我正在尝试创建一个函数，该函数从Rcpp中的big.matrix对象提取一列(以便可以在将结果带到R中之前在cpp中进行分析)，但是我不知道该如何获取它可以识别NA(现在显示为-2147483648-如下面的最小示例所示).如果我可以直接从Rcpp访问功能 GetMatrixCols ( src/bigmemory.cpp )，那会更好，但是我还没有找到一种方法. #include ..
发布时间：2020-07-25 00:10:18 其他开发

R中几个big.matrix对象的按元素均值

我有17个文件支持的big.matrix对象(dim 10985 x 52598，每个4.3GB)，我想计算其中的元素均值.结果可以存储在另一个big.matrix(gcm.res.outputM)中. biganalytics :: apply()无效，因为MARGIN只能设置为1或2.我尝试将2用于循环，如此处所示 gcm.res.outputM ..
发布时间：2020-07-25 00:10:03 其他开发

如何在Windows OS上安装BigMemory和BigRF

我一直试图在我的R安装中安装bigmemory. 我的操作系统是Windows 7 64位，我已经在R V2.15.1、2.15.2和3.0.1 64位上进行了尝试，但是我无法使其正常工作. 我尝试了几种选择 下载当前源并在R v3.0.1中运行命令 install.packages("D:/Downloads/bigmemory_4.4.3.tar.gz"，repos = NULL ..
发布时间：2020-07-25 00:10:01 其他开发

bigmemory和具有文件支持的朋友的示例

我对探索R如何处理内存不足数据很感兴趣.我找到了bigmemory软件包和朋友(bigtabulate和biganalytics)，但是希望有人可以指出一个使用这些软件包进行文件备份的示例.任何其他内存不足的提示也将不胜感激. 解决方案 查理，只需发送电子邮件迈克和 Jay ，他们有许多围绕ASA“航班"数据库的示例一两年前的例子. 编辑:实际上，“文档"标签有我的想法；这些脚本也在 ..
发布时间：2020-07-25 00:09:58 其他开发

R:大数据区吗?计算两个矩阵之间的最小距离

我有两个矩阵，一个矩阵长200K行，另一个矩阵20K.对于第一个矩阵中的每一行(这是一个点)，我试图找到第二个矩阵中的哪一行(也是一个点)最接近第一个矩阵中的点.这是我对样本数据集尝试的第一种方法: #Test dataset pixels.latlon=cbind(runif(200000,min=-180, max=-120), runif(200000, min=50, max=85) ..
发布时间：2020-07-23 04:12:41 其他开发

仍在努力处理大型数据集

我已经在这个网站上阅读，却找不到确切的答案.如果已经存在，我很抱歉重新发布. 我正在处理非常大的数据集(6亿行，具有32 GB RAM的计算机上为64列).我确实只需要这些数据的较小子集，但是除了简单地使用fread导入一个数据集并选择所需的5列之外，我还很难执行任何功能.之后，我尝试使用所需的特定条件覆盖数据集，但是我碰到了内存上限，并收到消息“错误:无法分配4.5 GB的向量大小.我将f ..
发布时间：2020-05-08 21:42:48 其他开发

大矩阵和内存问题

我正在处理一个巨大的数据集，我想得出一个测试统计量的分布.因此，我需要使用巨大的矩阵(200000x200000)进行计算，并且您可能会预测到我遇到了内存问题.更准确地说，我得到以下信息:错误:无法分配大小为... Gb的向量.我使用R的64位版本，而我的RAM是8Gb.我尝试使用bigmemory软件包，但收效不大. 第一个问题是我必须计算距离矩阵时.我在名为Dist的amap程序包中发现 ..
发布时间：2020-05-07 19:19:15 其他开发

使用big.matrix对象计算欧几里得距离矩阵

我在R中有一个尺寸为778844 x 2的big.matrix类对象.值都是整数(千米).我的目标是使用big.matrix计算欧几里得距离矩阵，并因此得到类big.matrix的对象.我想知道是否有最佳的方法. 我选择使用类big.matrix的原因是内存限制.我可以将我的big.matrix转换为类matrix的对象，并使用dist()计算欧几里得距离矩阵.但是，dist()会返回一个对 ..
发布时间：2020-05-07 18:40:48 其他开发

在R中并行共享内存

问题描述： 我有一个大矩阵 c ，加载到RAM内存中。我的目标是通过并行处理来只读访问它。但是当我创建连接时，我使用 doSNOW ， doMPI ， big.matrix 等，ram使用的金额急剧增加。 有没有一种方法来正确创建一个共享内存，其中所有的进程可能读取从而无需创建所有数据的本地副本 示例： libs ..
发布时间：2018-01-24 21:20:10 其他开发