合并名称相似的CSV [英] Merging CSVs with similar name python
本文介绍了合并名称相似的CSV的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
摘要
给定一个包含以模式Prefix-Year.csv命名的CSV文件的目录,创建一组新的名为Prefix-Aggregate.csv的CSV文件,其中每个聚合文件是具有相同前缀的所有CSV文件的组合。
说明
我有一个包含5,500个CSV文件的目录,命名方式如下:Prefix-Year.csv。示例:
18394-1999.csv
. . . //consecutive years
18394-2014.csv
18395-1999.csv //next location
我要将具有通用前缀的文件分组并合并为名为prefix-ggregate.csv的文件。
推荐答案
您问题的解决方案是下面的find_filesets()
方法。我还包括了一个基于MaxNoe's answer的CSV合并方法。
#!/usr/bin/env python
import glob
import random
import os
import pandas
def rm_minus_rf(dirname):
for r,d,f in os.walk(dirname):
for files in f:
os.remove(os.path.join(r, files))
os.removedirs(r)
def create_testfiles(path):
rm_minus_rf(path)
os.mkdir(path)
random.seed()
for i in range(10):
n = random.randint(10000,99999)
for j in range(random.randint(0,20)):
# year may repeat, doesn't matter
year = 2015 - random.randint(0,20)
with open("{}/{}-{}.csv".format(path, n, year), "w"):
pass
def find_filesets(path="."):
csv_files = {}
for name in glob.glob("{}/*-*.csv".format(path)):
# there's almost certainly a better way to do this
key = os.path.splitext(os.path.basename(name))[0].split('-')[0]
csv_files.setdefault(key, []).append(name)
for key,filelist in csv_files.items():
print key, filelist
# do something with filelist
create_merged_csv(key, filelist)
def create_merged_csv(key, filelist):
with open('{}-aggregate.csv'.format(key), 'w+b') as outfile:
for filename in filelist:
df = pandas.read_csv(filename, header=False)
df.to_csv(outfile, index=False, header=False)
TEST_DIR_NAME="testfiles"
create_testfiles(TEST_DIR_NAME)
find_filesets(TEST_DIR_NAME)
这篇关于合并名称相似的CSV的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文