可以按块读取镶木地板文件吗？ [英] Is it possible to read parquet files in chunks?

问题描述

例如， pandas 的read_csv有一个chunk_size参数，该参数允许read_csv返回CSV文件的迭代器，以便我们可以按块读取该文件。

拼图格式以块的形式存储数据，但是没有像read_csv这样的块来读取数据。

有没有办法分块读取镶木地板文件？

推荐答案

如果您的拼图文件不是使用行组创建的，则READ_ROW_GROUP方法似乎不起作用(只有一个组！)。

但是，如果您的拼图文件被分区为拼图文件的目录，您可以使用快速拼图引擎(它只处理单个文件)来读取文件，然后在PANDA中连接文件或获取值并连接ndarray

import pandas as pd
from glob import glob
files = sorted(glob('dat.parquet/part*'))

data = pd.read_parquet(files[0],engine='fastparquet')
for f in files[1:]:
    data = pd.concat([data,pd.read_parquet(f,engine='fastparquet')])

这篇关于可以按块读取镶木地板文件吗？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！