为什么h5py在向数据集中添加3个可变长度的字符串时会抛出错误？ [英] Why does h5py throw an error when adding 3 variable length strings to a dataset?

问题描述

我正在尝试使用h5py(Python3)设置和写入HDF5数据集，该数据集包含复合对象的一维数组。每个复合对象由三个长度可变的字符串属性组成。

     with h5py.File("myfile.hdf5", "a") as file:
         dt = np.dtype([
             ("label", h5py.string_dtype(encoding='utf-8')),
             ("name", h5py.string_dtype(encoding='utf-8')),
             ("id", h5py.string_dtype(encoding='utf-8'))])
         dset = file.require_dataset("initial_data", (50000,), dtype=dt)
         dset[0, "label"] = "foo"

当我运行上面的示例时，最后一行代码导致h5py(或者更准确地说，numpy)抛出一个错误：

无法更改对象数组的数据类型。

我是否正确理解为"foo"的类型不是h5py.string_dtype(encoding='utf-8')？

为什么？我如何修复此问题？

更新1： 进入堆栈跟踪，我可以看到错误是由名为_view_is_safe(oldtype, newtype)的内部NumPy函数抛出的。在我的例子中，oldtype是dtype('O')，但newtype是dtype([('label', 'O')])，这会导致引发错误。

更新2： 下面已成功回答了我的问题，但为了完整起见，我链接到一个可能与以下内容相关的GH问题：https://github.com/h5py/h5py/issues/1921

推荐答案

您将dtype设置为可变长度字符串的元组，因此您需要一次性设置该元组。通过仅设置Label元素，不会设置其他两个元组值，因此它们不是字符串类型。

示例：

import h5py
import numpy as np

with h5py.File("myfile.hdf5", "a") as file:
    dt = np.dtype([
        ("label", h5py.string_dtype(encoding='utf-8')),
        ("name", h5py.string_dtype(encoding='utf-8')),
        ("id", h5py.string_dtype(encoding='utf-8'))])
    dset = file.require_dataset("initial_data", (50000,), dtype=dt)

#Add a row of data with a tuple:
    dset[0] = "foo", "bar", "baz"
 
#Add another row of data with a np recarray (1 row):
    npdt = np.dtype([
        ("label", 'S4'),
        ("name", 'S4'),
        ("id", 'S4') ])
    dset[1] = np.array( ("foo1", "bar1", "baz1"), dtype=npdt )
       
#Add 3 rows of data with a np recarray (3 rows built from a list of arrays):
    s1 = np.array( ("A", "B", "C"), dtype='S4' )
    s2 = np.array( ("a", "b", "c"), dtype='S4' )
    s3 = np.array( ("X", "Y", "Z"), dtype='S4' )
    recarr = np.rec.fromarrays([s1, s2, s3], dtype=npdt)
    dset[2:5] = recarr

结果1：

全部三种方法的结果：

这篇关于为什么h5py在向数据集中添加3个可变长度的字符串时会抛出错误？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！