hdf5相关内容

如果dtype为“< u4",则在python 3.6中如何从hdf5文件中获取数据数组?

我想从hdf5文件中获取格式为{N,16,512,128}的数据集作为4D numpy数组.N是具有{16,512,128}格式的3D数组的数量.我尝试这样做: import os导入系统将h5py导入为h5将numpy导入为np导入子流程汇入file_name = sys.argv [1]路径= sys.argv [2]f = h5.File(文件名,'r')数据= f [路径]print( ..
发布时间:2021-04-16 20:41:42 Python

AttributeError:'int'对象没有属性'encode'HDF5

我正在尝试使用以下代码在Python中打开HDF5文件: ,其中h5py.File('example.hdf5','r')为f:ls = list(f.keys())dat = f.get('data')dt = np.array(dat) 但是,执行最后一行时出现此错误: AttributeError:'int'对象没有属性'encode' dat具有以下类别: h5py._h ..
发布时间:2021-04-16 20:20:50 Python

将嵌套的.h5组读入numpy数组

我从朋友那里收到了这个.h5文件,我需要使用其中的数据来做一些工作.所有数据均为数值.这是我第一次使用这类文件.我在这里找到了许多有关阅读这些文件的问题和答案,但是我找不到找到该文件包含的较低级别的组或文件夹的方法.该文件包含两个主文件夹,即X和YX包含一个名为0的文件夹,其中包含两个名为A和B的文件夹.Y包含十个名为1-10的文件夹.我要读取的数据在A,B,1,2,..,10中例如我以 开始 ..
发布时间:2021-04-09 20:13:05 Python

如何在hdf5中压缩列表/嵌套列表

我最近了解了hdf5压缩并正在使用它.在处理巨大文件时,它比.npz/npy有一些优势.我设法尝试了一个小列表,因为有时我会处理具有以下字符串的列表; def write():test_array = ['a1','a2','a1','a2','a1','a2','a1','a2','a1','a2','a1','a2','a1','a2','a1','a2','a1','a2','a1',' ..
发布时间:2021-04-09 19:39:53 其他开发

如何降级使用Tensorflow-gpu安装的hdf5

最近我尝试在 https://www.youtube.com上安装tensorflow-gpu/watch?v = tPq6NIboLSc 此视频 但是当我尝试导入tensorflow(或keras)时,我的内核死了,并给出以下错误消息. C:\ Users \ ovin \ Anaconda3 \ envs \ GPU \ lib \ site-packages \ h5py \ __ ..
发布时间:2021-04-03 20:12:38 Python

yum install抱怨已经安装的依赖项

我的意思是安装一个在我的注册存储库中显然不可用的软件包(请参阅 RedHat,该软件包提供hdf5.h ). 因此,我从rpmfind.net下载了hdf5-openmpi-devel-1.8.5.patch1-10.el6.i686.rpm,并尝试从文件进行安装,从而获得了有关某些丢失文件的投诉(请参阅下面的(1)). 但是这些文件存在于我的系统中(请参阅下面的(2)). 如何解决此 ..
发布时间:2020-11-22 19:18:43 其他开发

HDF5核心驱动程序(H5FD_CORE):加载选定的数据集

当前,我通过h5py在python中加载HDF5数据,并将数据集读取到内存中. f = h5py.File('myfile.h5', 'r') dset = f['mydataset'][:] 这有效,但是如果"mydataset"是myfile.h5中唯一的数据集,则以下效率更高: f = h5py.File('myfile.h5', 'r', driver='core') ds ..
发布时间:2020-11-22 19:18:39 Python

将HDF5读入C ++并遇到内存问题

我正在将我在python中开发的代码重写为c ++,主要是为了提高速度.同时也希望获得更多使用该语言的经验.我还计划使用openMP将这段代码并行化到共享204GB内存的48个内核上. 我正在编写的程序很简单,我导入了一个3D的hdf5文件: A [T] [X] [E],其中T与模拟中的每个时间步关联,X表示测量场的位置,E(0:2)表示x,y,z中的电场. > A中的每个元素都是双精度,并 ..
发布时间:2020-11-22 19:18:36 C/C++开发

是否可以在R中使用rhdf5更新hdf5文件中的数据集维度?

我正在尝试在hdf5文件中更新1组中的7个数据集,但是更新后的数据集的大小尺寸与原始大小不同(但维数相同,即1D,2D和3D).有没有一种方法可以更改维度属性以更新数据集?或者,我可以删除上一个组,然后在该位置创建一个新组吗?我宁愿不重建整个h5文件(创建文件,创建组,创建数据集),因为它相当复杂. 我在R中使用Bioconductor rhdf5软件包. 示例数据: # loa ..
发布时间:2020-11-22 19:18:33 其他开发

HDF5 C ++,带有第三方过滤器

我正在尝试编写C ++代码来创建具有此处列出的第三方过滤器的HDF5数据集:" https://support.hdfgroup.org/services/contributions.html ".我创建了一个快照过滤器函数,该函数可以使用快照库函数对数据进行压缩和解压缩.我能够用活泼的过滤器编写和读取它,没有任何问题.但是,当我尝试通过h5dump读取数据时,即使我使用了正确的过滤器ID(快照为 ..
发布时间:2020-11-22 19:17:30 C/C++开发

将hdf5转换为文件夹中的原始组织

我使用脚本使图像与图集匹配.此脚本输入是.raw个图像,这些图像组织在以下文件夹中: imageFolder -- folder1 ---- image1.raw ---- image2.raw -- folder2 ---- image1.raw ---- image2.raw 我在hdf5中有一个图像,我想将其转换为多个文件,如前所述.这个组织看起来像hdf5,不是吗? 我想知 ..
发布时间:2020-11-22 19:17:26 Python

在Python中使用H5T_ARRAY

我正在尝试使用Python在H5T_COMPOUND结构内使用H5T_ARRAY.基本上,我正在编写hdf5文件,如果使用H5Dump打开它,结构将如下所示. HDF5 "SO_64449277np.h5" { GROUP "/" { DATASET "Table3" { DATATYPE H5T_COMPOUND { H5T_COMPOUND { ..
发布时间:2020-11-22 19:17:20 Python

PyTables-使用cols方法的大内存消耗

在Pytables中使用cols方法的目的是什么?我有很大的数据集,我有兴趣从该数据集中只读取一列. 这两种方法给我的时间相同,但是可变内存消耗却完全不同: import tables from sys import getsizeof f = tables.open_file(myhdf5_path, 'r') # These two methods takes the same ..
发布时间:2020-11-22 19:16:18 Python

str()和astype(str)之间的区别?

我想将数据帧df保存到.h5文件MainDataFile.h5中: df.to_hdf ("c:/Temp/MainDataFile.h5", "MainData", mode = "w", format = "table", data_columns=['_FirstDayOfPeriod','Category','ChannelId']) 并出现以下错误: ***例外:找不到正 ..
发布时间:2020-11-22 19:15:15 Python

如何用HDF5文件制作RasterBrick? [R

如何从多个hdf5文件中在R中创建Rasterbrick?通常,数据以hdf5格式提供,并且必须将其转换为更友好的格式以便于处理. 目前我知道rhdf5 package,但是如何获得RasterBrick是我不确定的事情. source("http://bioconductor.org/biocLite.R") biocLite("rhdf5") library("rhdf5") li ..
发布时间:2020-11-22 19:15:13 其他开发

HDFStore启动停止不起作用

很清楚我在做什么错吗? 我正在尝试熊猫HDFStore.选择 start 和 stop 选项,并没有什么改变. 我正在使用的命令是: import pandas as pd hdf = pd.HDFStore(path % 'results') len(hdf.select('results',start=15,stop=20)) 希望长度为4或5,或者算在内,但这给了我整 ..
发布时间:2020-11-22 19:15:05 Python

如何在Windows Java项目和NetBeans中使用HDF5

我有一个简单的Java项目,必须将一些数据写入HDF5文件.我在Windows下使用Netbeans.通常,我从相应的jar文件构建库.就我所知如何做事而言,是如此之多;) 我从 hdf5下载页面下载并安装了二进制文件.但是接下来呢?我看了 HDF5-Java支持页面,但没有任何线索如何将HDF5集成到我的JavaApplication中. PS:我找到了 sis-jhdf5 ,但我没 ..
发布时间:2020-11-22 19:15:02 Java开发

(在熊猫中)当以表格形式存储在HDF5中时,为什么频率信息会丢失?

我将HDF5格式的时间序列数据存储在大熊猫中,因为我希望能够直接在磁盘上访问数据,因此我在写时将PyTable格式与table=True一起使用. 在将TimeSeries对象写入HDF5之后,我似乎失去了频率信息. 这可以通过在以下脚本中切换is_table值来看到: import pandas as pd is_table = False times = pd.date_ ..
发布时间:2020-11-22 19:14:58 Python