Impala与Presto性能比较

时间:2021-04-11 16:55:58

下面是Presto、Impala这两种典型的内存数据库的简单测试比较,当然这种内存数据库类似的还有spark sql,这种数据库在大数据量,多表关联查询时,会展现出自己的优势,下面是一组impala和presto的性能对比图:

环境准备:1台32G内存、2台16G内存,没有完全把内存配置饱和

测试数据:hive中3张2000W数据量的表

集群:impala和presro部署在3台机器上

presto版本:presto-server-0.191 (presto安装:http://blog.csdn.net/u012551524/article/details/79013194)

impala版本:2.8.0-cdh5.11.0

1、单表的聚合操作

Presto:count

Impala与Presto性能比较

1s(presto目前只精确到整数,所以小于1s也是显示1s)

Impala:count

Impala与Presto性能比较

0.24s

Presto:count、distinct

Impala与Presto性能比较

取了3次,分别是:4、3、3 (s)

Impala:count、distinct

Impala与Presto性能比较

取了3次:0.74、0.75、0.76(s)

2、单值查询

Presto :查询一个ID的记录

Impala与Presto性能比较

3次:6、5、6(s)

Impala:

Impala与Presto性能比较

3次都在1.7s左右

3、两表关联(2张2000W的表做join)

Presto:

Impala与Presto性能比较

3次结果:9、11、9

Impala:

Impala与Presto性能比较

3次结果在7s左右

4、3表关联(3张2000W的表做join)

Presto:

Impala与Presto性能比较

4次结果:13、11、15、12(s)

Impala:

Impala与Presto性能比较

3次结果在8.9s左右

总结:这是一些场景下的查询效率的比较,数据量不是很大,但是能看出一些问题,他们的共同点就是吃内存,当然在内存充足的情况下,并且有规模适当的集群,性能应该会更可观,从上图可以看出Impala性能稍领先于presto,但是presto在数据源支持上非常丰富,包括hive、图数据库、传统关系型数据库、Redis等

缺点:这两种对hbase支持的都不好,presto 不支持,但是对hdfs、hive兼容性很好,其实这也是顺理成章的,所以数据源的处理很重要,针对hbase的二级索引查询可以用phoenix,效果也不错

【转自 https://blog.csdn.net/u012551524/article/details/79124532】