hdf5相关内容

读取.h5文件速度极慢

我的数据以.h5格式存储。我使用数据生成器来拟合模型,它非常慢。下面提供了我的代码片段。 def open_data_file(filename, readwrite="r"): return tables.open_file(filename, readwrite) data_file_opened = open_data_file(os.path.abspath("../dat ..
发布时间:2022-09-05 16:12:20 Python

如何在阅读文本文件时纠正列之间的空格?

我想从文本文件中读取数据并将其写入hdf5格式。但不知何故,在数据文件的中间,列之间的空格消失了。small part of the file数据如下: Generated by trjconv : P/L=1/400 t= 0.00000 11214 1P1 aP1 1 80.48 35.36 4.25 2P1 aP1 2 37.4 ..
发布时间:2022-09-05 16:00:09 Python

将可变长度序列写入复合数组

我使用的是带有h5py的复合数据类型,其中一些元素是可变长度数组。我找不到一种方法来设置这个项目。下面的MWE展示了6种不同的方法(顺序索引--无论如何在h5py中都不起作用)、融合索引、列/行的读取-修改-提交),这两种方法都不起作用。 正确的方式是什么?为什么将整数列表写入int32列表时,h5py显示为Cannot change data-type for object array? ..
发布时间:2022-09-05 15:46:30 其他开发

HDF如何在不重新打包的情况下处理已删除数据集释放的空间

我特别指的是与使用Pyables/Pandas接口的HDF,但我认为这适用于一般的HDF。 我知道,一旦删除数据集,HDF就不会回收空间,您必须使用h5repack/ptrepack来回收该空间。我对这种方法的问题是,我发现这些工具非常慢,特别是对于几十亿字节(我的文件大约是20 GB)的文件。因此,如果您必须有规律地添加/删除派生数据集(例如,在调试构成该数据的东西时),这是不实际的。 ..
发布时间:2022-09-05 15:34:46 Python

Python h5py-为什么我收到广播错误?

我正在尝试读取一个.h5文件data.h5,它有两个数据集,即‘data’和‘METADATA’。‘metaData’包含一个大小为157x1的字典,如下所示: 然后,我尝试编写一个新的.h5文件,它包含3列:字典中每个变量的编号、名称(字典的第一列)和单位(字典的最后一列)。代码如下: import numpy as np import h5py as h5 hdf = h5.Fi ..
发布时间:2022-09-05 15:28:40 Python

如何在h5文件中分层写入大的多个数组?

假设我有10000个系统。对于每个系统,我都有两个数据集:对于每个数据集,我都有x、y和y_err数组。如何使用h5py或pandas将所有系统的数据放到一个h5文件中?下面给出了详细说明。 Systems=np.arange(10000) for sys in Systems: x1,y1,y1_err=np.random.rand(100),np.random.rand(100 ..
发布时间:2022-09-05 15:16:50 Python

CHLone安装失败

我正在尝试在Ubuntu 16.04上安装CHLonev0.49以便安装pyCGNS。当我运行scons: 时,如输出开头所示,依赖项已安装并且似乎可以通过scons找到 scons: Reading SConscript files ... # ================================================================= # CHLone ..
发布时间:2022-09-05 14:56:06 其他开发

H5py:如何在HDF5组和数据集上使用key()循环

print(list(file.keys())) 当我运行此代码时,我得到: T00000000,T00000001,T00000002,T00000003, ... ,T00000474 现在,我分析了T00000000,但我想用for循环扫描它们。我做不到,因为这是一根线。有没有办法做到这一点? 推荐答案 可以,您可以使用Split()方法。 如果字符串是&qu ..
发布时间:2022-09-05 14:45:48 Python

如何检索存储字符串的HDF5数据集

我正在使用下面的命令创建H5数据集,该数据集使用dtype作为S10来存储字符串数组。 create_dataset(dset_name, (0,) , dtype='S10', maxshape=None, chunks=True) 它将数据正确存储在hdf5文件的组中。我甚至可以在HDF5查看器中看到正确的数据。但是,当我使用group.keys()时,我看不到数据集。数据集的图标也 ..
发布时间:2022-09-05 14:24:57 Python

如何使用HDF文件(固定格式,多个密钥)作为 pandas 数据帧?

我得到了一个使用PANDA创建的20 GB HDF5文件,但不幸的是,它是以固定格式(而不是表)编写的,每一列都写为一个单独的键。这对于快速加载一个功能非常有效,但它不支持方便的面向表格的过程(例如,统计分析或绘图)。 尝试将文件作为一个整体加载时出现以下错误: ValueError: key must be provided when HDF5 file contains multi ..
发布时间:2022-09-05 14:20:52 Python

HDF5中的数据块大小是多少?

引用HDF5 Hyperslab doc-: 块数组确定从中选择的元素块的大小 数据空间。 该示例在2x2数据集中显示,其参数设置如下: start offset is specified as [1,1], stride is [4,4], count is [3,7], and block is [2,2] 将产生21个2x2数据块。这里的选择将是(1,1), (5,1) ..
发布时间:2022-09-05 14:07:24 其他开发

如何命名HDF5数据集中的列?

我用h5py做了一个数据集: f = h5py.File("experimentReadings.hdf5", "w") dset = f.create_dataset("physics", (5,4), dtype='f') 我有一个变量名列表:namesList = ['height', 'mass', 'velocity', 'gravity']。 我希望这些变量名成为dse ..
发布时间:2022-09-05 13:48:04 Python

用 pandas 将表格直接转换为树形结构

我要转换此CSV文件格式: 转换为具有以下结构的hdf5文件: 我用的是 pandas 。有什么简单的方法可以做到这一点吗? 推荐答案 您可以通过collections.defaultdict使用嵌套词典: from collections import defaultdict import pandas as pd # read csv file # df = p ..
发布时间:2022-09-05 13:33:03 Python