如何存储和加载海量图像数据集？ [英] How to store and load huge images dataset?

问题描述

我有一个很大的图像数据集要存储。我有30万张图片。每个图像都是一个28800像素的矢量，这意味着我有一个(300000, 28800)

的矩阵

我将其存储如下

img_arr = np.stack(images, axis=0)

np.savetxt('pixels_dataset_large.csv',img_arr,delimiter=",")

但是加载它需要很长时间，有时l会出现内存错误：

data_pixels=np.genfromtxt("pixels_dataset_large.csv", delimiter=',')

是否有以最佳方式存储和加载它的替代方案？

推荐答案

如果您要将300,000 x 28,000个数据保存到csv，则假设您正在查看的输出文件大小略低于1 TB，具体取决于输出的精度。即使您有1 TB的磁盘空间，CSV在这种规模下的效率也令人难以置信。

在这种情况下，我建议使用某种二进制存储方案(例如，hdf5)。您可以查看xarray包：它非常适合处理这种大小的密集数组数据，它有一个非常类似于NumPy的API，它甚至利用Dask透明地支持并行和/或内存映射计算。

这篇关于如何存储和加载海量图像数据集？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！