将压缩的 CSV(filename.csv.gz) 文件加载到 PostgreSQL 表中 [英] Loading zipped CSV(filename.csv.gz) file into PostgreSQL table

问题描述

如何在不解压缩到 csv 文件的情况下将大量 csv.gz 文件加载到 Postgresql 中，因为我尝试了管道命令 (mkfifo pipelinename) 但它对我不起作用.有没有其他解决方案来解决这个问题?

How to load larger amount of csv.gz file into Postgresql without unzipping to csv file ,since I tried pipeline command (mkfifo pipelinename) but it doesn't work for me. Is there any other solution to solve this issue ?

我尝试使用以下命令将其从本地加载到 postgresql命令:zcat file.csv.gz |psql -U 用户名 -d 数据库；

I have try to load it from local to postgresql using following command command : zcat file.csv.gz | psql -U username -d database;

结果:内存不足

需要:我想将一个大尺寸的 csv.gz(大约 15+ GB)文件从 centos 加载到 postgresql 数据库.

Need : I want to load a big size csv.gz (around 15+ GB) file from centos to postgresql database.

推荐答案

注意这也应该在 psql 内部工作:

Note that this should also work from inside psql:

\copy TABLE_NAME FROM PROGRAM 'gzip -dc FILENAME.csv.gz' DELIMITER ',' CSV HEADER NULL ''

这篇关于将压缩的 CSV(filename.csv.gz) 文件加载到 PostgreSQL 表中的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！