将非常大的CSV文件拆分成较小的文件 [英] Splitting very large csv files into smaller files

问题描述

DASK是否适合并行读取大型CSV文件并将其拆分为多个较小的文件？

推荐答案

可以，dASK可以读取大型csv文件。它会将它们分割成块

df = dd.read_csv("/path/to/myfile.csv")

然后，在保存时，DASK始终将CSV数据保存到多个文件

df.to_csv("/output/path/*.csv")

有关这方面的详细信息，请参阅READ_CSV和TO_CSV文档字符串。

• dd.read_csv
• dd.DataFrame.to_csv

这篇关于将非常大的CSV文件拆分成较小的文件的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！