读取多个压缩成一个文件的csv文件 [英] Read multiple csv files zipped in one file

问题描述

我在文件夹中的多个zip文件中有多个csv文件，例如：

I have several csv files in several zip files in on folder, so for example:

• A.zip（包含csv1，csv2 ，csv3）


• B.zip（包含csv4，csv5，csv6）

在文件夹路径 C：/ Folder / 中，当我在文件夹中加载普通的csv文件时，我使用以下代码：

which are in the folder path C:/Folder/, when I load normal csv files in a folder I use the following code:

import glob
import pandas as pd
files = glob.glob("C/folder/*.csv")
dfs = [pd.read_csv(f, header=None, sep=";") for f in files]

df = pd.concat(dfs,ignore_index=True)

此帖子的后续文章：在python中读取csv压缩文件

一个zip中的csv的工作方式如下：

One csv in zip works like this:

import pandas as pd
import zipfile

zf = zipfile.ZipFile('C:/Users/Desktop/THEZIPFILE.zip') 
df = pd.read_csv(zf.open('intfile.csv'))

有人知道如何为我优化此循环吗？

Any idea how to optimize this loop for me?

推荐答案

使用 zip .namelist（）获取zip文件中的文件列表

Use zip.namelist() to get list of files inside the zip

Ex：

import glob
import zipfile
import pandas as pd

for zip_file in glob.glob("C/folder/*.zip"):
    zf = zipfile.ZipFile(zip_file)
    dfs = [pd.read_csv(zf.open(f), header=None, sep=";") for f in zf.namelist()]
    df = pd.concat(dfs,ignore_index=True)
    print(df)

这篇关于读取多个压缩成一个文件的csv文件的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！