python - pyspider爬取了接近1G的数据,无法导出csv?
本文介绍了python - pyspider爬取了接近1G的数据,无法导出csv?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
问 题
已经增加虚拟机内存至2g,依然无法导出。
解决方案
一般是分文件导出的,如果一个单位的数据大约是1M的话,就分成1024个文件。
另外,合成1G的csv也是不合实际的,因为1G的csv几乎是打不开的。如果实在是要合成1G的话,把导出的一千多个文件再合成为一份CSV即可,文件合成python很容易实现。
这篇关于python - pyspider爬取了接近1G的数据,无法导出csv?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文