如何逐行阅读大型文本文件，而不将其加载到内存中？ [英] How can I read large text files line by line, without loading it into memory?

问题描述

我需要逐行读取一个大文件。假设该文件超过5 GB，我需要读取每一行，但显然我不想使用readlines()，因为它将在内存中创建一个非常大的列表。

下面的代码在这种情况下将如何工作？xreadlines本身是否逐个读取到内存中？是否需要生成器表达式？

f = (line for line in open("log.txt").xreadlines())  # how much is loaded in memory?

f.next()  

另外，我如何才能像Linuxtail命令那样以相反的顺序阅读此内容？

我发现：

http://code.google.com/p/pytailer/

和

"python head, tail and backward read by lines of a text file"

两者都运行得很好！

推荐答案

我之所以提供这个答案，是因为Keith的答案虽然简洁，但没有显式关闭文件

with open("log.txt") as infile:
    for line in infile:
        do_something_with(line)

这篇关于如何逐行阅读大型文本文件，而不将其加载到内存中？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！