如何从巨大的表中读取所有行？ [英] How to read all rows from huge table?

问题描述

我在处理数据库中的所有行时遇到问题（PostgreSQL）。我收到一个错误： org.postgresql.util.PSQLException：内存不足以检索查询结果。我认为我需要读取所有行的小块，但它没有工作 - 它只读取100行（下面的代码）。怎么做？

I have a problem with processing all rows from database (PostgreSQL). I get an error: org.postgresql.util.PSQLException: Ran out of memory retrieving query results. I think that I need to read all rows in small pieces, but it doesn't work - it reads only 100 rows (code below). How to do that?

    int i = 0;      
    Statement s = connection.createStatement();
    s.setMaxRows(100); // bacause of: org.postgresql.util.PSQLException: Ran out of memory retrieving query results.
    ResultSet rs = s.executeQuery("select * from " + tabName);      
    for (;;) {
        while (rs.next()) {
            i++;
            // do something...
        }
        if ((s.getMoreResults() == false) && (s.getUpdateCount() == -1)) {
            break;
        }           
    }

推荐答案

使用 PostgreSQL中的游标或让JDBC驱动程序为您处理这个问题。

处理大型数据集时，LIMIT和OFFSET会变慢。

LIMIT and OFFSET will get slow when handling large datasets.

这篇关于如何从巨大的表中读取所有行？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！