h5py相关内容

在Python中打开.h5文件

我正在尝试用Python读取h5文件. 可以在此链接中找到该文件，该文件称为'vstoxx_data_31032014.h5'.我尝试运行的代码来自Yves Hilpisch撰写的《 Python for Finance》一书，内容如下: import pandas as pd h5 = pd.HDFStore('path.../vstoxx_data_31032014.h5 ..
发布时间：2020-05-24 03:12:02 Python

如何将熊猫数据框写入HDF5数据集

我正在尝试将Pandas数据帧中的数据写入嵌套的hdf5文件中，每个组中包含多个组和数据集.我想将其保存为单个文件，以后每天都会增加.我使用了以下代码，该代码显示了我想要实现的结构 import h5py import numpy as np import pandas as pd file = h5py.File('database.h5','w') d = {'one' : pd.S ..
发布时间：2020-05-24 02:32:49 Python

熊猫无法读取使用h5py创建的hdf5文件

当我尝试读取用h5py创建的HDF5格式文件时，出现pandas错误.我想知道我是否做错了什么? import h5py import numpy as np import pandas as pd h5_file = h5py.File('test.h5', 'w') h5_file.create_dataset('zeros', data=np.zeros(shape=(3, 5)), ..
发布时间：2020-05-23 21:42:56 Python

在给定键列表的情况下，如何将h5py文件的数据集内容读取到numpy数组中?

我的函数的输入是一个h5py文件和一个文本文件.文本文件有两列.第一列具有一些话语信息，第二列具有说话者信息(针对该话语). h5py文件(使用create_datasets创建)的键是发音(文件的第一列).每个数据集都有一个固定维数(600，)的numpy数组(只有一个). h5py文件的发音比文本文件中的发音更多.文本文件中的某些话语可能不会出现在h5py文件中. 我的函数的预期输出:两 ..
发布时间：2020-05-18 23:49:18 Python

使用h5py创建HDF5复合属性

我正在尝试使用h5py创建一些包含具有复合数据类型属性的简单HDF5数据集.目标是具有两个整数的属性.这是我要创建的两个属性示例. 我的尝试最终以两个值组成的数组，例如 如何使用h5py对此进行编码并获得包含两个整数的单个值? 当前代码类似于 dt_type = np.dtype({"names": ["val1"],"formats": [(' ..
发布时间：2020-05-18 23:34:14 Python

数组切片会引发IndexError:数组索引过多

我有一些数据(来自HDF5文件)，我只想获取一些列.我试图切片数组，但得到了IndexError，我无法理解为什么. 有什么想法吗? 代码: >>> type(x) numpy.ndarray >>> x array([((1537445457, 517647), 0.45301986, 13.807418, 0.10681067, 6.856901 , 2.8895614, 15.3 ..
发布时间：2020-05-18 23:30:41 Python

保存并加载大型numpy矩阵

下面的代码是我保存numpy数组的方式，保存后大约为27GB.图像数据超过200K，每种形状为(224,224,3) hf = h5py.File('cropped data/features_train.h5', 'w') for i,each in enumerate(features_train): hf.create_dataset(str(i), data=each) hf ..
发布时间：2020-05-18 23:27:56 Python

使用python中的h5py调整和保存.h5格式的数据集

我正在尝试使用python中的h5py包来调整数据集的大小并存储新值.我的数据集大小在每个实例中都在不断增加，我想使用resize函数附加.h5文件.但是，我使用自己的方法遇到了错误.变量dset是数据集的数组. import os import h5py import numpy as np path = './out.h5' os.remove(path) def create_h5 ..
发布时间：2020-05-18 23:26:30 Python

快速有效的从HDF5文件序列化和检索大量numpy数组的方法

我有大量的numpy数组，特别是113287，其中每个数组的形状都是36 x 2048.就内存而言，这等于 32 Gigabytes . 到目前为止，我已经将这些阵列序列化为一个巨型HDF5文件.现在的问题是，从此hdf5文件中检索单个阵列每次访问都花费很长时间(不到10分钟). 我该如何加快速度?这对于我的实现非常重要，因为我必须索引该列表数千次才能馈入深度神经网络. 这是我索 ..
发布时间：2020-05-18 23:24:40 Python

使用h5py沿新轴将数据添加到现有h5py文件

我有一些示例代码可以生成3d Numpy数组-然后我将这些数据使用h5文件保存到h5py文件中.然后，如何沿第二维“附加"第二个数据集?或者，如何沿现有.h5文件的第4维(或新轴)编写另一个3d数据集?我已经阅读了可以找到的文档，但没有一个示例似乎可以解决这个问题.我的代码如下所示: import h5py import numpy as np dataset1 = np.random.r ..
发布时间：2020-05-18 22:58:43 Python

是否可以使用h5py将大数据直接加载到numpy int8数组中?

我有一个非常大的数据文件(1000 x 1400000数组)，其中包含0、1、2和4的整数.使用h5py将大数据加载到numpy数组中需要花费很长时间，因为我的内存(4GB) )不能容纳那么多内容，并且程序会使用交换空间.由于数据中只有4个数字，因此我想使用8位整数数组.目前，我加载数据并将其转换为8位int数组. with h5py.File("largedata", 'r') as f: ..
发布时间：2020-05-18 22:54:33 Python

使用Astype在H5py中创建对HDF数据集的引用

从 h5py文档中，我看到了我可以使用astype方法将HDF数据集转换为另一种类型.这将返回一个上下文管理器，它可以即时执行转换. 但是，我想读取存储为uint16的数据集，然后将其转换为float32类型.此后，我想以不同的功能从此数据集中提取各种切片，作为转换类型float32.文档解释了用法 with dataset.astype('float32'): castdata ..
发布时间：2020-05-18 22:34:00 Python

如何将类似"numpy ndarray"的对象延迟连接以进行顺序读取?

我有几个大型hdf5文件的列表，每个文件都有4D数据集.我想在第一轴上将它们连接起来，例如在一个类似数组的对象中，该对象将被用作所有数据集被连接在一起的方式.我的最终目的是多次沿同一轴顺序读取数据块(例如[0:100,:,:,:]，[100:200,:,:,:]，...). h5py中的数据集共享numpy数组API的重要部分，这使我可以调用 numpy.concatenate 完成任务: ..
发布时间：2020-05-18 22:04:01 Python

如何将两个numpy数组以hdf5格式连接?

我在hdf5中存储了两个numpy数组，分别是 每个44 GB.我需要将它们连接在一起 但需要在磁盘上进行操作，因为我只有8GB内存. 我该怎么做? 谢谢！ 解决方案 相关文章是在生成的文件中获取不同的数据集.在Python中，这是可能的，但是您将需要以多种操作读取和写入数据集.例如，从文件1读取1GB，写入输出文件，重复直到从文件1读取所有数据并对文件2进行相同操作.您需要直接在输 ..
发布时间：2020-05-18 21:13:51 Python

h5py:如何读取hdf5文件的选定行?

是否可以在不加载整个文件的情况下从hdf5文件中读取给定的行集?我有相当大的hdf5文件，其中包含大量数据集，这是我想减少时间和内存使用量的一个示例: #! /usr/bin/env python import numpy as np import h5py infile = 'field1.87.hdf5' f = h5py.File(infile,'r') group = f['Da ..
发布时间：2020-05-18 21:11:07 Python

是否可以将np数组用作h5py数据集中的索引?

我需要将多个数据集(每个都包含在一个单独的文件中)合并到另一个属于最终文件的数据集中. 当部分数据集中的数据被复制到最终数据中时，将不会保留这些数据的顺序-通过索引将部分数据集中的数据“映射"到最终的数据中.我创建了两个列表，final_indices和partial_indices，并写道: final_dataset = final_hdf5file['dataset'] parti ..
发布时间：2020-05-18 20:31:17 Python