ElasticSearch和Kibana 5.X集群的安装
1、准备工作
1.1、下载安装包
在Elastic官网下载安装包，ElasticSearch和Kibana版本必须一致！！！
本次安装的版本为5.3.2:
- elasticsearch-5.3.2.tar.gz
- kibana-5.3.2-linux-x86_64.tar.gz
1.2、系统的准备
- ElasticSearch集群不能以root用户启动，所以需要准备一个非root用户。
- 设置系统允许内存锁定
ulimit -l unlimited
2、ElasticSearch集群的安装
2.1、修改 config/elasticsearch.yml 文件
！！！！！！！注意: 配置文件中，冒号后面必须加空格！！！！！！！！！！！
修改集群名称(防止以后出现集群重名，必须修改)，和节点名称
修改集群的数据存放目录和日志目录(注意权限问题，将相应目录的所属用户:组更改为集群启动的用户)
-
内存相关设置，增加如下属性:
- indices.memory.index_buffer_size: 25%
- indices.memory.min_index_buffer_size: 512mb
- bootstrap.memory_lock: true
-
网络配置，增加如下属性(我们有5台机器，其中4台master和node都设为true，另外一台都为false作为负载均衡点):
- transport.publish_host: 0.0.0.0
- transport.bind_host: 0.0.0.0
- http.host: 172.31.18.13 ------------- 更改为本机地址
- network.bind_host: 0.0.0.0
- network.publish_host: 0.0.0.0
- transport.tcp.port: 9300
- node.master: true ------------- 设置为master
- node.data: true ------------- 设置为datanode
- http.port: 9200
- http.enabled: true
- http.cors.enabled: true
- http.cors.allow-origin: "*"
-
配置集群自动发现节点
- discovery.zen.ping.unicast.hosts: 集群的所有ip，用双引号包含，逗号隔开
- discovery.zen.minimum_master_nodes: 集群最小master数量，值设置为 节点数/2 + 1
-
线程池和脚本配置，添加以下参数:
- script.painless.regex.enabled: true ----- 允许使用正则
- thread_pool.index.size: 33 ----- 具体数值为CPU物理核的2倍
- thread_pool.index.queue_size: 1000 ----- 具体数值大约为CPU物理核的60倍
附:公司ElasticSearch集群的配置文件:elasticsearch.yml
2.2、修改 bin/elasticsearch 文件
在文件前面增加如下属性:
JAVA_HOME=/usr/local/jdk1.8.0_77 ----- jdk目录
ES_JAVA_OPTS="-Xms31g -Xmx31g" ----- 设置内存，总内存的一半和31之间取小的
JAVA_OPTS="$JAVA_OPTS -XX:+UseParNewGC"
JAVA_OPTS="$JAVA_OPTS -XX:+UseConcMarkSweepGC"
JAVA_OPTS="$JAVA_OPTS -XX:CMSInitiatingOccupancyFraction=75"
JAVA_OPTS="$JAVA_OPTS -XX:+UseCMSInitiatingOccupancyOnly"
2.3、将整个ElasticSearch目录复制到其它服务器
- 将目录复制到其它服务器之后，修改每个机器的config/elasticsearch.yml中的节点名称、http.host、和服务器硬件配置有关的相关参数
- 其中一台服务器的node.master和node.data都设置为false，作为负载均衡点，集群和外界通讯都通过这台机器，这台机器的硬件配置可以低一点
2.4、将启动加入到系统服务(可选，方便启动)
服务脚本为:
#!/bin/bash
# chkconfig: 2345 10 90
# description: Elasticsearch Service ....
# 此处需要更改
ES_HOME=/opt/elasticsearch
EXEC_PATH=$ES_HOME
EXEC=elasticsearch
DAEMON=$EXEC_PATH/bin/$EXEC
PID_FILE=$ES_HOME/pid/es.pid
ServiceName='Elasticsearch 5.0'
. /etc/rc.d/init.d/functions
if [ ! -x $DAEMON ] ; then
echo "ERROR: $DAEMON not found"
exit 1
fi
stop()
{
echo "Stoping $ServiceName ..."
ps aux | grep "$DAEMON" | kill -9 `awk '{print $2}'` >/dev/null 2>&1
rm -f $PID_FILE
usleep 100
echo "Shutting down $ServiceName: [ successful ]"
}
start()
{
echo "Starting $ServiceName ..."
$DAEMON > /dev/null &
pidof $EXEC > $PID_FILE
usleep 100
echo "Shutting down $ServiceName: [ successful ]"
}
restart()
{
stop
start
}
case "$1" in
start)
start
;;
stop)
stop
;;
restart)
restart
;;
status)
status -p $PID_FILE $DAEMON
;;
*)
echo "Usage: service $ServiceName {start|stop|restart|status}"
exit 1
esac
exit $?
2.5、启动集群
后台运行每台机器的 bin/elasticsearch 脚本
用浏览器访问负载均衡点的9200端口: http://172.31.18.15:9200/_cluster/health
{
"cluster_name": "datageek",
"status": "green",
"timed_out": false,
"number_of_nodes": 5,
"number_of_data_nodes": 4,
"active_primary_shards": 43,
"active_shards": 58,
"relocating_shards": 0,
"initializing_shards": 0,
"unassigned_shards": 0,
"delayed_unassigned_shards": 0,
"number_of_pending_tasks": 0,
"number_of_in_flight_fetch": 0,
"task_max_waiting_in_queue_millis": 0,
"active_shards_percent_as_number": 100
}
如果看到如上结果，各个nodes数量都对得上，就说明集群安装成功。
3、Kibana安装
3.1、修改配置文件
- 修改config/kibana.yml文件，增加如下三个属性(冒号后面要加空格):
- script.painless.regex.enabled: true
- server.host: "0.0.0.0"
- elasticsearch.url: "http://172.31.18.15:9200" ----- elasticsearch集群的负载均衡点的ip和端口
- 修改bin/kibana文件，在首行增加 JAVA_HOME=/usr/local/jdk1.8.0_77
3.2、启动Kibana
后台运行bin/kibana脚本，在浏览器访问kibana机器的5601端口，看到页面说明Kibana安装成功。