presto 0.166安装部署

时间:2021-08-09 00:52:31

系统:linux

java:jdk 8,64-bit

Connector:hive

分布式,node1-3

node1:Coordinator 、 Discovery service

node2-3:Worker

开始安装部署

除了标红的需要在node2-3上特殊处理,其他设置和node1一样,下面以node1为例

Presto Server配置

解压缩presto-server-0.166.tar.gz
tar zxvf presto-server-0.166.tar.gz

在presto-server-0.166目录下创建etc目录
cd presto-server-0.166
mkdir etc

在etc目录下创建catalog目录
cd etc
mkdir catalog

在catalog目录下创建文件hive.properties,文件内容如下:
connector.name=hive-hadoop2
hive.metastore.uri=thrift://node1:9083
hive.config.resources=/home/orco/resources/hadoop-2.7.3/etc/hadoop/core-site.xml, /home/orco/resources/hadoop-2.7.3/etc/hadoop/hdfs-site.xml

在etc目录下创建config.properties文件,文件内容如下:
# 在非node1上设置为false coordinator
=true # 实验环境下一般是true,生产环境还是让coordinator那个节点别干worker的事情吧,设置成false node-scheduler.include-coordinator=false # zeeplin是8080 http-server.http.port=8081 query.max-memory=512MB query.max-memory-per-node=512MB discovery-server.enabled=true discovery.uri=http://node1:8081 在etc目录下创建jvm.config文件,文件内容如下: -server -Xmx1G -XX:+UseG1GC -XX:G1HeapRegionSize=32M -XX:+UseGCOverheadLimit -XX:+ExplicitGCInvokesConcurrent -XX:+HeapDumpOnOutOfMemoryError -XX:OnOutOfMemoryError=kill -9 %p 在etc目录下创建node.properties文件,文件内容如下: node.environment=production
# id要唯一,node2的id是node2等 node.id
=node1 node.data-dir=/home/orco/resources/presto-server-0.166/presto_data

 

Presto Client配置

把客户端jar包放置在presto-server-0.166/bin目录下
mv presto-cli-0.166-executable.jar presto-server-0.166/bin/

修改客户端jar包名为presto
mv presto-cli-0.166-executable.jar presto

修改presto客户端jar包权限
chmod +x presto

把presto添加到环境变量中(~/.bash_profile)
export PRESTO_HOME=/home/orco/resources/presto-server-0.166
export PATH=$PRESTO_HOME/bin:$PATH

使得环境变量立即生效
source ~/.bash_profile

 

启动Presto

Presto依赖HDFS和Hive metastore

启动HDFS
/home/orco/resources/hadoop-2.7.3/sbin/start-dfs.sh

启动Hive metastore
sudo service mysqld start
nohup hive --service metastore >> /home/orco/resources/apache-hive-2.1.1-bin/metastore.log 2>&1 &

启动Presto,三台都各自启动
/home/orco/resources/presto-server-0.166/bin/launcher start

查看Presto Web UI
http://node1:8081


启动Presto客户端
presto --server node1:8081 --catalog hive --schema default

server:指的是Coordinator的地址,配置在config.properties 中

hive:用的是hive的connector

default:用的是hive的default数据库