h5py相关内容

使用不同大小的 h5py 数组进行保存

我正在尝试使用 HDF5 数据格式存储大约 3000 个 numpy 数组.数组长度从 5306 到 121999 np.float64 我得到Object dtype dtype('O') 没有原生的 HDF5 等价物错误,因为数据的不规则性质 numpy 使用通用对象类. 我的想法是将所有数组填充到 121999 的长度并将大小存储在另一个数据集中. 但是这在空间上看起来效率 ..
发布时间:2021-11-18 05:04:51 其他开发

可见的弃用警告......?

我有一些数据从 h5 文件中读取为一个 numpy 数组,并且正在做一些分析.对于上下文,数据绘制了光谱响应曲线.我正在索引数据(以及我为 x 轴制作的后续数组)以获得特定值或值范围.我没有做任何复杂的事情,即使是我正在做的小数学也是非常基本的.但是我在很多地方收到以下警告错误 “VisibleDeprecationWarning:布尔索引与维度 0 的索引数组不匹配;维度为 44,但对应的 ..
发布时间:2021-11-18 04:23:03 其他开发

如何使用h5py覆盖h5文件中的数组

我试图覆盖一个 numpy 数组,它是一个非常复杂的 h5 文件的一小部分. 我正在提取一个数组,更改一些值,然后想将该数组重新插入到 h5 文件中. 提取嵌套的数组没有问题. f1 = h5py.File(file_name,'r')X1 = f1['meas/frame1/data'].valuef1.close() 我尝试的代码看起来像这样但没有成功: f1 = h5py. ..
发布时间:2021-11-18 03:28:56 其他开发

输入和输出 numpy 数组到 h5py

我有一个 Python 代码,它的输出是一个 大小的矩阵,其条目都是float 类型.如果我使用扩展名 .dat 保存它,则文件大小约为 500 MB.我读到使用 h5py 可以大大减少文件大小.所以,假设我有一个名为 A 的 2D numpy 数组.如何将其保存到 h5py 文件?另外,我如何读取同一个文件并将其作为 numpy 数组放在不同的代码中,因为我需要对数组进行操作? 解决方案 ..
发布时间:2021-11-18 02:23:27 其他开发

如何使用 M1 在 MacOS 上安装 h5py(Keras 需要)?

我有一台 M1 MacBook.我已经使用 pyenv 安装了 python 3.9.1,并且有 pip3 版本 21.0.1.我已经通过 brew install hdf5 安装了 homebrew 和 hdf5 1.12.0_1. 当我打字时 pip3 install h5py 我收到错误: 要求已经满足:numpy>=1.19.3 in/Users/.../.pyenv/vers ..
发布时间:2021-11-16 20:35:35 其他开发

无法安装h5py

我正在尝试在 Windows10 64 位、Python 3.8.5、Pip 20.2.4 上运行 h5py. 使用这个命令 pip install h5py 但这会引发错误 错误:无法为使用 PEP 517 且无法直接安装的 h5py 构建轮子 看起来这是 pep 517 和其他软件包的众所周知的问题,所以我尝试检查所有解决方案,例如 pip install --no-use-p ..
发布时间:2021-09-25 20:11:33 其他开发

将matlab数据结构读入numpy数组

我有一组 MAT 文件,其中包含一个 ma​​tlab struct.该结构有一堆数组.我想打开文件并将它们全部传输到数组中.到目前为止,我已经编写了以下代码: 导入h5py>>>fs = h5py.File('statistics_VAD.mat','r')>>>列表(fs.keys())['#refs#', '数据']>>>>>>fs['data'].visititems(lambda n, ..
发布时间:2021-06-11 18:31:58 其他开发

用h5py并行写入不同的组

我正在尝试使用并行h5py为每个进程创建一个独立的组,并用一些数据填充每个组.实际上,只有一个组被创建并填充了数据.这是程序: 从mpi4py导入MPI的 导入h5py等级= MPI.COMM_WORLD.Get_rank()f = h5py.File('parallel_test.hdf5','w',driver ='mpio',comm = MPI.COMM_WORLD)数据=范围(100 ..
发布时间:2021-05-13 20:14:33 其他开发

我想在python中将非常大的csv数据转换为hdf5

我的csv数据非常大.看起来像这样. [日期,公司名称,值1,值2,...,值60] 我想将其转换为hdf5文件.例如,假设我有两个日期(2019-07-01,2019-07-02),每个日期都有3个公司(公司1,公司2,公司3),每个公司都有[值1,值2,......值60]. 我想将日期和公司名称作为一个组使用.具体来说,我要使用以下层次结构:“日期/公司名称". 例如 ..
发布时间:2021-05-13 20:14:30 其他开发

Python:是否可以在不将其内容加载到RAM的情况下写入文件?

有一个我想洗牌的大数据集.整套设备无法放入RAM,因此,如果我可以同时打开多个文件(例如hdf5,numpy),按时间顺序遍历我的数据并将每个数据点随机分配给其中一个堆,则会很好(然后将每个数据点随机播放)桩). 我真的没有用python处理数据的经验,所以我不确定是否可以在不将其其余内容保存在RAM中的情况下写入文件(使用np.save和savez几乎没有成功)./p> 在h5py或nu ..
发布时间:2021-05-13 20:14:27 其他开发

如何为H5配置maxshape参数并追加到文件?

我正在尝试将图像数据集合并到H5文件中.到目前为止,我已经设法创建了文件,但是当我追加文件时,它只会覆盖已经存在的文件.我查看了其他答案(例如添加将数据使用h5py沿新轴导入到现有的h5py文件),并尝试了它们的变体,但无济于事. 适用于范围内的i的 (len(files)):如果i == 0:使用h5py.File('input_images.h5','w')为f:img = np.arra ..
发布时间:2021-05-13 20:14:24 其他开发

无法写入hdf5文件

我正在尝试创建hdf5文件,但是输出文件为空. 我已经编写了一个python代码,该代码应该循环运行并在创建的数据集中写入字符串.保存文件后,我发现输出文件始终为空. 下面是我写的那段代码: h5_file_name ='sample.h5'hf = h5py.File(h5_file_name,'w')g1 = hf.create_group('Objects')dt = h5p ..
发布时间:2021-05-13 20:14:21 其他开发

h5py随机无法打开对象(找不到组件)

我正在尝试将hdf5数据集加载到pytorch训练中进行循环. 无论数据加载器中有num_workers个,这都会随机引发"KeyError:'无法打开对象(找不到组件)'"(下面的回溯). 我能够开始训练循环,但是如果没有这个错误,就无法通过一个纪元的1/4,这对于随机的“数据集"(每个2darray)都会发生.我可以使用常规的 f ['group/subroup'] [()] 在控 ..
发布时间:2021-05-13 20:14:18 其他开发

添加存储在HDF5数据集中的大矩阵

我有两个具有相同结构的HDF5文件,每个文件存储一个相同形状的矩阵.我需要创建第三个HDF5文件,其中的矩阵表示上述两个矩阵的逐元素和.考虑到矩阵的大小非常大(在Gb-Tb范围内),最好的方法是并行处理?我正在使用HDF5库的h5py接口.有图书馆可以做到吗? 解决方案 是的,这是可能的.关键是要访问文件1和文件2中的数据切片.file2,按元素求和,然后将新数据片写入file3.您可以使 ..
发布时间:2021-05-13 20:14:15 其他开发

将数据集从1个HDF5文件提取到多个文件

在从HDF5生成img时,我实际上提出了一个问题.现在,我遇到的另一个问题是从现有的位置生成h5. 例如,我有一个[ABC.h5],里面有图像及其gt_density贴图的数据集.关键是[images,density_maps] 我想要[GT_001.h5],[GT_002.h5] ...,而不是单个h5文件.这是为每张图像提取的[density_maps]. 如何实现这一目标? ..
发布时间:2021-05-13 20:14:12 其他开发

如何使用h5py将数据写入复合数据?

我知道在 c 中,我们可以轻松地使用 struct 类型构造复合数据集,并逐块分配数据.我目前正在使用 h5py 在 Python 中实现类似的结构. 导入h5py将numpy导入为np#我们创建一个h5文件f = h5py.File("test.h5")#默认为模式"a"#我们使用np.dtype定义复合数据类型dt_type = np.dtype({"names":["image","fea ..
发布时间:2021-05-13 20:14:09 其他开发

向HDF5文件中添加新数据会导致一个空数组

在使用适用于Python的HDF5软件包时,我发现了一个奇怪的行为.我想在表中插入更多数据.但是不知何故我无法使其正常工作.正如您从源代码中看到的那样,我正在使用 fromRow = hf ["X"].shape [0] 获取键'X'中的最后一行数据,并编写了 tempArray2之后.结果是一个空表. 导入h5pytempArray1 = [[0.9293237924575806,-0.327 ..
发布时间:2021-05-13 20:14:06 其他开发

有没有一种方法可以使用POSIX_FADV_DONTNEED标志打开hdf5文件?

我们正在针对机器学习应用程序使用python中带有h5py的大型(1.2TB)未压缩,未分块的hdf5文件,该文件需要我们反复遍历整个数据集,并以随机顺序分别加载〜15MB的切片.我们正在使用具有192 GB RAM的Linux(Ubuntu 18.04)计算机.我们注意到该程序正在缓慢填充高速缓存.当高速缓存的总大小达到可与机器的全部RAM相媲美的大小时(可用内存几乎为0,但有足够的“可用"内存 ..
发布时间:2021-05-13 20:14:00 其他开发

Python无法打开.h5文件

我正在尝试打开HDF5文件以便使用python读取它,以便以后可以使用它做更多的事情.运行程序以读取文件时出现错误.该程序如下: import h5py#HDF5支持导入numpyfileName ="C:/.../file.h5"f = h5py.File(fileName,"r")对于f.attrs.keys()中的项目:打印项目+“:",f.attrs [项目]mr = f ['/ent ..
发布时间:2021-05-13 20:13:56 其他开发