如何加载一个20 GB的json文件来读入 pandas ? [英] How to load a 20GB json file to read in pandas?
本文介绍了如何加载一个20 GB的json文件来读入 pandas ?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我有一个19.4 GB的JSON文件。我试了很多方法来读取这个文件。例如:pandas.read_json(filename)
只是使笔记本崩溃。我正在寻找以一种懒惰的方式加载文件的方法。例如,一次1 GB,然后将其转储到SQLite或new 4j数据库中以分析数据。我们将非常感谢您在这方面的任何想法。
推荐答案
如果JSON文件的数据是逐行分隔的,则按行拆分。
# In bash, split by 1,000,000 lines per file
split -d -l 1000000 file_name.json file_part_
然后处理每个文件。
或使用chunksize:
df_iter = pd.read_csv(filename, chunksize = 100000, sep='
', header=None)
for df in df_iter:
# handle the dataframe
break
这篇关于如何加载一个20 GB的json文件来读入 pandas ?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文