python3.x - 求助python下高效且支持大数据量的database2excel方案

问题描述

问 题

大家好。小弟目前需要一个速度较好，且支持大数据量的数据库导出至excel（xlsx）的方案
小弟的机器配置不高，4核的CPU，可用内存在8G左右（不过是虚拟机，可能性能实际还要低一点）
小弟之前尝试过以下几种方案
openpyxl：大数据量情况下经常会吃光内存。实验生成100W条/每条6个字段的数据，经常会把小弟这8G内存吃满。生成excel时间大概在10分钟~11分钟左右
pyexcel_xlsx：貌似这部分引用的还是openpyxl的东东…不过貌似有一定的优化，生成生成100W条/每条6个字段的数据，消耗内存近3G，时间在8分半左右

这两个方案效率都非常低，而且小弟目前都没有找到中途将内存写入文件的方法…

请各位大大指点，是否还有其他的方案，最好是能够控制单次写入条数，例如每写入5W条，进行一次提交，将内存的东东写在文件中并释放内存，再继续写入这样的。（这样也许可以考虑配合多线程来进行并行写入，加快效率…）
谢谢各位了

解决方案

自己找到了方法…openpyxl中有write_only选项，可以大幅度减少占用内存，生成速度也更快

这篇关于python3.x - 求助python下高效且支持大数据量的database2excel方案的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！