hdf5相关内容

删除或更新 HDF5 中的数据集?

我想以编程方式更改与 HDF5 文件中的数据集关联的数据.我似乎找不到按名称删除数据集(允许我使用修改后的数据再次添加它)或按名称更新数据集的方法.我将 C API 用于 HDF5 1.6.x，但指向任何 HDF5 API 的指针都会很有用. 解决方案 根据用户指南: HDF5 目前没有提供一种简单的机制来从文件中删除数据集或回收被删除对象占用的存储空间. 如此简单的删除似乎是 ..
发布时间：2021-11-15 02:51:10 C/C++开发

Spark DataFrame 如何处理大于内存的Pandas DataFrame

我现在正在学习 Spark，它似乎是 Pandas Dataframe 的大数据解决方案，但我有一个让我不确定的问题. 目前我正在使用 HDF5 存储大于内存的 Pandas 数据帧.HDF5 是一个很棒的工具，它允许我对 Pandas 数据框进行分块.因此，当我需要对大型 Pandas 数据帧进行处理时，我会分块进行.但 Pandas 不支持分布式处理，HDF5 仅适用于单台 PC 环境. ..
发布时间：2021-11-14 21:45:43 Python

将 HDF5 文件中的大型数据集读入 x_train 并在 keras 模型中使用

我有一个包含 16000 个不同 512x512 numpy 数组的大型 HDF5 文件.显然，将文件读入内存会使其崩溃(文件总大小为 40 GB). 我想将此数组加载到数据中，然后将数据拆分为train_x 和test_x.Tha 标签存储在本地. 我这样做只是创建了文件的路径而不获取 h5 = h5py.File('/file.hdf5', 'r')数据 = h5.get('数 ..
发布时间：2021-09-05 20:03:18 AI人工智能

将matlab数据结构读入numpy数组

我有一组 MAT 文件，其中包含一个 ma​​tlab struct.该结构有一堆数组.我想打开文件并将它们全部传输到数组中.到目前为止，我已经编写了以下代码: 导入h5py>>>fs = h5py.File('statistics_VAD.mat','r')>>>列表(fs.keys())['#refs#', '数据']>>>>>>fs['data'].visititems(lambda n, ..
发布时间：2021-06-11 18:31:58 其他开发

是否可以在不知道结构的情况下制作将与python 3.6中的另一个文件相同的hdf5文件?

如果我有一个hdf5文件 f1.h5 ，并且我想将此文件复制到另一个文件中(例如 f2.h5 )，但是我没有我不知道 f1.h5 的结构，我想自动复制它，我可以使用 h5py 的一些技巧来做到这一点吗? 解决方案 我不了解h5py，但是应该可以通过以下方式实现: f1 = open('f1.h5'，'rb')f2 = open('f2.h5'，'wb')f2.write(f1.read ..
发布时间：2021-05-13 20:52:13 其他开发

将Python词典保存到netCDF4文件

我正在学习对netCDF4(和一般的netCDF4)使用Python模块.使用HDF5文件格式，有一种自然的方法可以将Python词典转换为HDF5数据结构-使用组的属性: 参数= {'a':1.0，'b':2.0，'c':3.0}f = h5py.File("test.hdf5"，'w')hdf_parms = f.create_group("parameters")对于k，v在paramet ..
发布时间：2021-05-13 20:52:10 Python

pytables添加重复子类作为列

我正在创建具有严格参数的HDF5文件.它具有1个包含变量列的表.某一时刻，列变得重复，并附加了不同的数据.显然，我不能在IsDescription类中添加循环.当前，类Segments已被添加到类Summary_data下两次.我需要打电话给segments_k 70次.最好的方法是什么?谢谢. 类头(IsDescription):_v_pos = 1id = Int16Col(dflt = 1 ..
发布时间：2021-05-13 20:52:06 Python

安装lib表时出错，在Windows中找不到hdf5

我无法在Windows环境中执行表lib的isntall，无法找到解决方案，该错误是关于hdf5安装和hdf5目录的！ 有人知道我该如何解决? 错误是: C:\ Users \ thiago.bueno> pip安装-升级表收集表使用缓存的https://files.pythonhosted.org/packages/4d/53/8f34ce887c2a2ad80518980419 ..
发布时间：2021-05-13 20:52:03 Python

有没有一种方法可以将指定的表快速提取到另一个HDF5文件中?

我要解决的问题如下-我运行了一个长时间运行的Python(可能需要花费数小时才能完成)的进程，该进程最多可以生成80000个HDF5文件.由于瓶颈之一是不断打开和关闭这些文件，因此我决定编写一个概念验证代码，该代码使用单个HDF5文件作为包含许多表的输出.当然可以，但是我想知道是否存在将指定表(如果可能的话重命名)导出到单独文件中的快速方法? 解决方案 是的，至少有3种方法可以将数据集的内 ..
发布时间：2021-05-13 20:52:00 其他开发

C ++ HDF5找不到-lhdf5d

情况:我想创建一个程序来读取 .hdf5 文件中的内容. 我做了什么:什么都没有，只是将 hdf5.lib 添加到项目中. 问题: 我遇到两个错误 . 解决方案 解决方案是我删除此行中的最后一个"d": else:win32:CONFIG(debug，debug | release):LIBS + = -L'C:/Program Files/HDF_Group/ ..
发布时间：2021-05-13 20:51:53 C/C++开发

使用熊猫将CSV文件转换为HDF5

当我使用熊猫将csv文件转换为hdf5文件时，生成的文件非常大.例如，一个170Mb的测试csv文件(23列，130万行)将产生2Gb的hdf5文件.但是，如果绕过熊猫而直接写入hdf5文件(使用pytables)，则只有20Mb.在以下代码(用于在熊猫中进行转换)中，数据框中的对象列的值被显式转换为字符串对象(以防止酸洗): #打开csv文件作为pandas数据框数据= pd.read_csv ..
发布时间：2021-05-13 20:51:48 Python

Python 2.7:将数据追加到Pandas中的表

我正在从图像文件中读取数据，并且希望将此数据附加到单个HDF文件中.这是我的代码: 数据文件= pd.HDFStore(os.path.join(path，'imageData.h5'))对于fileList中的文件:数据= {'X位置':pd.Series(xpos，index = index1)，'Y Position':pd.Series(ypos，index = index1)，'主轴长 ..
发布时间：2021-05-13 20:51:45 Python

如何从.h5文件中提取数据并将其正确保存到.txt或.csv中?

经过大量搜索后，我找不到一种简单的方法来从 .h5 中提取数据，然后由 Numpy 将其传递给 data.Frame .code>或 Pandas ，以便保存在 .txt 或 .csv 文件中. import h5py将numpy导入为np将熊猫作为pd导入文件名='D:\ data.h5'f = h5py.File(文件名，'r')#列出所有组print(“键:％s"％f.keys())a_ ..
发布时间：2021-05-13 20:51:42 Python

pytables安装失败

我这样做: sudo pip install --upgrade表 我得到: /usr/bin/ld:找不到-lhdf5collect2:ld返回1退出状态..错误::找不到本地HDF5安装.您可能需要明确说明本地HDF5标头和可以通过设置"HDF5_DIR"环境来找到库变量或使用--hdf5命令行选项.来自命令python setup.py egg_info的完整输出:/usr/bin ..
发布时间：2021-05-13 20:51:39 其他开发

对象dtype dtype('O')没有等效的本机HDF5

好吧，似乎在堆栈溢出中曾问过几个类似的问题，但似乎没有一个回答正确或正确，也没有描述确切的例子. 我在将数组或列表保存到hdf5时遇到问题... 我有几个文件包含(n，35)维的列表，其中每个文件中的n可能不同.它们每个都可以使用以下代码保存在hdf5中. hdf = hf.create_dataset(fname，data = d) 但是，如果我想将它们合并以在3d中制作，则 ..
发布时间：2021-05-13 20:51:36 Python

HDF5:如何将数据追加到数据集(可扩展数组)

按照本教程，我试图扩展我的HDF5数据集.代码如下，但是数据未正确写入数据集(数据集具有适当的最终大小，但仅包含零).与本教程的唯一区别在于，我必须使用动态数组.有什么主意吗? int main(){hsize_t dims [1]，max_dims [1]，newdims [1]，chunk_dims [1]，offset [1]；hid_t文件，file_space，plist，数据集，m ..
发布时间：2021-05-13 20:51:33 其他开发

使用hdf5文件中的astropy在skyplot上绘制均值和标准dev值

我正在尝试使用hdf5文件创建一个包含均值和标准dev值的Skyplot(使用astropy).数据链接为 https://wwwmpa.mpa-garching.mpg.de/~ensslin/research/data/faraday2020.html (法拉第天空2020年).到目前为止，我已经编写了以下代码，其中将数据从hdf5文件读取到ggl和ggb，然后将值转换为gb和gl中的银河坐标 ..
发布时间：2021-05-13 20:51:29 其他开发

“大数据"使用熊猫的工作流程

在学习熊猫的过程中，我试图迷惑了这个问题很多月了.我在日常工作中使用SAS，这非常有用，因为它提供了核心支持.但是，由于许多其他原因，SAS作为一个软件还是很糟糕的. 有一天，我希望用python和pandas代替SAS，但目前我缺少大型数据集的核心工作流程.我并不是在说需要分布式网络的“大数据"，而是文件太大而无法容纳在内存中，但又足够小而无法容纳在硬盘驱动器上. 我的第一个想法是使 ..
发布时间：2021-05-13 20:51:24 Python