java - poi导入大量数据如何处理？

问题描述

问 题

我用的是poi框架去解析excel数据，大概有十万条。
我想先通过一行一行地读取，然后保存在一个集合里面list。
解析完成了，这个list就包含了十万个对象的信息了。
然后，再把这个list导入 数据库。

我的困惑是：十万条，一条有二十个字段，一下子保存在集合中，会不会内存不够，或者其他事故呢？如何存在，如何改变上面的思路，减少事故发生。

比如，我可不可以边解析边导入，导入后就删除list的呢？这个过程怎么实现？给个思路。

解决方案

可以试试边读边写的办法，就是读取从POI中读取一行，然后就向数据库写入一行并提交。当数据从POI中读取完了，数据库写入也完成了。这个办法缺陷就是万一数据写入失败，程序中止的话，你需要从中止的行重新开始读取并写入，所以可能需要记录下中止的行数，以便失败的时候继续上次的进度，不用重头开始。

这篇关于java - poi导入大量数据如何处理？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！