批量查询数据库

时间:2024-10-05 07:06:50

在向数据库中插入数据时,如果插入过于频繁的话,我们都知道使用批量插入,也即是使用addBatch方法。

那么如果一次查询操作返回的数据量很大,JDBC的方式是一次返回部分数据,就像是流处理那样;还是一次返回全部的数据?

经过简单的调研,发现mysqlpostgresql都是默认返回全量数据,一些分布式数据库默认返回部分数据,比如说默认返回100条数据,当对这部分数据操作完成后再去数据拉取100条,以此类推,一直到取出全部数据,也就是说内存中最多只有100条数据,不会出现把内存撑爆的现象。

当然JDBC中有这样的方法进行设置,setFetchSize(num),num就是你所想要的每次拉取的数据条数,但是使用中发现这个方法在不同的类中都有,如下

其中这两种设置的区别,我不敢置喙,可自行查阅资料进行区分。

可以参考博客 /bisal/article/details/82735614

但根据我所了解的使用第一种方法较为稳妥,也即是

(100);

因为在此时设置了fetchSize之后,才进行executeQuery() 方法进行查询操作

而第二种方式是进行查询操作之后,对结果集ResultSet进行setFetchSize设置,我的困惑也来源于此,如果已经执行查询操作,数据已经全部加载到内存,再进行setFetchSize操作,还有什么意义?

以上是java对数据库批量查询,如果是python

直接设置

(10)

即可设置返回的数据条数