系统:linux
java:jdk 8,64-bit
Connector:hive
分布式,node1-3
node1:Coordinator 、 Discovery service
node2-3:Worker
开始安装部署
除了标红的需要在node2-3上特殊处理,其他设置和node1一样,下面以node1为例
Presto Server配置
解压缩presto-server-0.166.tar.gz tar zxvf presto-server-0.166.tar.gz 在presto-server-0.166目录下创建etc目录 cd presto-server-0.166 mkdir etc 在etc目录下创建catalog目录 cd etc mkdir catalog 在catalog目录下创建文件hive.properties,文件内容如下: connector.name=hive-hadoop2 hive.metastore.uri=thrift://node1:9083 hive.config.resources=/home/orco/resources/hadoop-2.7.3/etc/hadoop/core-site.xml, /home/orco/resources/hadoop-2.7.3/etc/hadoop/hdfs-site.xml 在etc目录下创建config.properties文件,文件内容如下:
# 在非node1上设置为false coordinator=true # 实验环境下一般是true,生产环境还是让coordinator那个节点别干worker的事情吧,设置成false node-scheduler.include-coordinator=false # zeeplin是8080 http-server.http.port=8081 query.max-memory=512MB query.max-memory-per-node=512MB discovery-server.enabled=true discovery.uri=http://node1:8081 在etc目录下创建jvm.config文件,文件内容如下: -server -Xmx1G -XX:+UseG1GC -XX:G1HeapRegionSize=32M -XX:+UseGCOverheadLimit -XX:+ExplicitGCInvokesConcurrent -XX:+HeapDumpOnOutOfMemoryError -XX:OnOutOfMemoryError=kill -9 %p 在etc目录下创建node.properties文件,文件内容如下: node.environment=production
# id要唯一,node2的id是node2等 node.id=node1 node.data-dir=/home/orco/resources/presto-server-0.166/presto_data
Presto Client配置
把客户端jar包放置在presto-server-0.166/bin目录下 mv presto-cli-0.166-executable.jar presto-server-0.166/bin/ 修改客户端jar包名为presto mv presto-cli-0.166-executable.jar presto 修改presto客户端jar包权限 chmod +x presto 把presto添加到环境变量中(~/.bash_profile) export PRESTO_HOME=/home/orco/resources/presto-server-0.166 export PATH=$PRESTO_HOME/bin:$PATH 使得环境变量立即生效 source ~/.bash_profile
启动Presto
Presto依赖HDFS和Hive metastore 启动HDFS /home/orco/resources/hadoop-2.7.3/sbin/start-dfs.sh 启动Hive metastore sudo service mysqld start nohup hive --service metastore >> /home/orco/resources/apache-hive-2.1.1-bin/metastore.log 2>&1 & 启动Presto,三台都各自启动 /home/orco/resources/presto-server-0.166/bin/launcher start 查看Presto Web UI http://node1:8081 启动Presto客户端 presto --server node1:8081 --catalog hive --schema default server:指的是Coordinator的地址,配置在config.properties 中 hive:用的是hive的connector default:用的是hive的default数据库