如何读取箭木地板键值元数据？ [英] How to read the arrow parquet key value metadata?

问题描述

当我在R和Python中保存拼图文件时(使用pyrow)，我得到一个保存在元数据中的箭头架构字符串。

如何读取元数据？它是平面缓冲区编码的数据吗？架构的定义在哪里？它未列在Arrow文档站点上。

元数据是如下所示的键-值对

key: "ARROW:schema"

value: "/////5AAAAAQAAAAAAAKAAwABgAFAAgACgAAAAABAwAEAAAAyP///wQAAAABAAAAFAAAABAAGAAIAAYABwAMABAAFAAQAAAAAAABBUAAAAA4AAAAEAAAACgAAAAIAAgAAAAEAAgAAAAMAAAACAAMAAgABwA…

由于用R写这篇文章

df = data.frame(a = factor(c(1, 2)))
arrow::write_parquet(df, "c:/scratch/abc.parquet")

推荐答案

架构是Base64编码的平面缓冲区数据。您可以使用以下代码在Python中读取该架构：

import base64
import pyarrow as pa
import pyarrow.parquet as pq

meta = pq.read_metadata(filename)
decoded_schema = base64.b64decode(meta.metadata[b"ARROW:schema"])
schema = pa.ipc.read_schema(pa.BufferReader(decoded_schema))

这篇关于如何读取箭木地板键值元数据？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！