java - 读取大量文本文件然后进行逻辑处理，请问用什么方法效率高一点？

问题描述

问 题

1. 描述你的问题
   有160个文本文件，每个大约5M，需要一一读取进行相应处理。

2. 贴上相关代码

3. 贴上报错信息
   我一次性全部读取后会内存溢出。

4. 贴上相关截图

5. 已经尝试过哪些方法仍然没解决（附上相关链接）

这个问题已被关闭，原因：问题已解决 - 问题已解决，且对他人无借鉴意义

解决方案

一个文件才5m，你可以使用多线程加队列或者多进程加队列提高效率。如果是python的话，我会创建一个队列，然后开4个进程不断的从队列取文件名，然后在主进程读入文本名放入队列中。这样同时就会处理多个文件了，读取文件可以按行读，读完以后关闭文件。这样保证每次最多读取一定数目的文件，不会因为打开文件过多而报错。

这篇关于java - 读取大量文本文件然后进行逻辑处理，请问用什么方法效率高一点？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！