分布式实时日志系统(一)环境搭建之 Jstorm 集群搭建过程/Jstorm集群一键安装部署

时间:2022-05-03 04:11:44

最近公司业务数据量越来越大,以前的基于消息队列的日志系统越来越难以满足目前的业务量,表现为消息积压,日志延迟,日志存储日期过短,所以,我们开始着手要重新设计这块,业界已经有了比较成熟的流程,即基于流式处理,采用 flume 收集日志,发送到 kafka 队列做缓冲,storm 分布式实时框架进行消费处理,短期数据落地到 hbase、mongo中,长期数据进入 hadoop 中存储。 接下来打算将这其间所遇到的问题、学习到的知识记录整理下,作为备忘,作为分享,带给需要的人。

淘宝开源了许多产品组件,其中包括这鼎鼎有名的 jstorm ,也就是我们采用的分布式实时处理框架,至于为什么,请看《为什么选择Jstorm》。这篇文章只介绍 Jstorm 整个集群的搭建过程,并提供一键安装部署脚本,方便其它使用的人员(搭建环境是一件头疼的事情,费时、费力)。

这是 Jstorm 的介绍PPT:(slideshare PPT 分享服务在大陆是被墙的,不能*?查看使用*服务享受*网络学习方法)

Jstorm 官方搭建使用过程如连接https://github.com/alibaba/jstorm/wiki/%E5%A6%82%E4%BD%95%E5%AE%89%E8%A3%85 ,我整理了三个脚本:安装 Jstorm 集群安装 jstorm_web_ui 监控页面启动zookeeper、Jstorm集群进行测试

一、整体环境说明

三个脚本是测试环境搭建使用的,三台机器:192.168.9.92192.168.9.93192.168.9.94
如果在其他机器上面使用,必须修改脚本中相应有ip的地方 ,脚本在文章最后提供,在 zip 文件夹里面有完整的一份,使用的时候直接使用zip文件夹即可。

二、搭建过程

将 zip 包解压到测试环境 /home/work 目录下,解压后,执行目录中的三个脚本,顺序执行,即可安装完毕。

2.1 搭建脚本如下

2.1.1 Jstorm 集群安装过程 :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
#!/bin/bash

# author: xirong 
# date : 2015-02-06 ####
# 此脚本为在测试环境192.168.9.92~94 三台机器上面搭建 jstorm 集群的脚本,免去一步步的安装的过程,如果换其他环境,把文中的ip修改即可
# 详细步骤请参考 https://github.com/alibaba/jstorm/wiki/%E5%A6%82%E4%BD%95%E5%AE%89%E8%A3%85
#
# 安装目录
# jstorm : /opt/jstorm-0.9.6.2, zookeeper : /opt/zookeeper-3.4.6 , java : /opt/jdk1.7.0_75
#
# 注意:执行此shell脚本时候,最好使用 source jstorm_install.sh 或者 . jstorm_install.sh 强制在当前shell进程中执行,否则当前shell脚本获取不到>修改的这些环境变量值
# 遇到sudo的命令时需要输入密码
# 脚本执行前提:
# 存在用户work,即存在/home/work/目录 ;
# 全新机器无Java
# 机器已经存在 Python 2.6,一般centos自带
#
# 执行完脚本后需要手动操作的步骤:
# 1. zookeeper 集群需要每台机器标记自己身份,vim $dataDir/myid 将机器的标识填入,比如第一天机器即为1,二台为2,以此类推
#### # 在64系统里执行32位程序如果出现/lib/ld-linux.so.2: bad ELF interpreter: No such file or directory # 解决错误Failed to set locale, defaulting to C
echo "export LC_ALL=en_US.UTF-8" >> /etc/profile
source /etc/profile yum install glibc.i686
echo 'finish pre install glibc.i686' echo 'start unzip all files'
#tar -zxf jstorm.tar.gz
unzip jstorm.zip
echo 'finish unzip all files and start java setup'
cd jstorm_tar/
tar -zxf jdk-7u75-linux-i586.tar_0.gz -C /opt/
echo 'finish unzpip jdk-7u75-linux-i586.tar_0.gz && start java envirenment settting ' # 配置java环境
echo '## java configuration ' >> /etc/profile
echo 'JAVA_HOME=/opt/jdk1.7.0_75' >> /etc/profile
echo 'export PATH=$JAVA_HOME/bin:$PATH' >> /etc/profile
echo 'export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar' >> /etc/profile
echo 'export JAVA_HOME' >> /etc/profile echo 'finish java envirement setting etc/profile'
# 使配置生效
. /etc/profile
which java ## 搭建zookeeper集群
echo 'start setup zookeeper ……………………'
tar -zxf zookeeper-3.4.6.tar.gz -C /opt/
echo '# zookeeper configuration ' >> /etc/profile
echo 'export ZOOKEEPER_HOME=/opt/zookeeper-3.4.6' >> /etc/profile
echo 'export PATH=$ZOOKEEPER_HOME/bin:$PATH' >> /etc/profile
echo 'export CLASSPATH=$ZOOKEEPER_HOME/lib' >> /etc/profile mkdir -p /home/work/jstorm/zookeeper_data
#cd /opt/zookeeper-3.4.6/conf/
cp -f /opt/zookeeper-3.4.6/conf/zoo_sample.cfg /opt/zookeeper-3.4.6/conf/zoo_sample.cfg.bak
mv /opt/zookeeper-3.4.6/conf/zoo_sample.cfg /opt/zookeeper-3.4.6/conf/zoo.cfg
# 修改zookeeper数据文件的位置
sed -i.bak 's/dataDir=\/tmp\/zookeeper/dataDir=\/home\/work\/jstorm\/zookeeper_data\//g' /opt/zookeeper-3.4.6/conf/zoo.cfg
# 集群配置的时候需要加入三台机器的配置 ,这个就是你在搭建你自己的三台机器的ip
echo '# zookeeper cluster mathines' >> /opt/zookeeper-3.4.6/conf/zoo.cfg
echo 'server.1=192.168.9.92:2888:3888' >> /opt/zookeeper-3.4.6/conf/zoo.cfg
echo 'server.2=192.168.9.93:2888:3888' >> /opt/zookeeper-3.4.6/conf/zoo.cfg
echo 'server.3=192.168.9.94:2888:3888' >> /opt/zookeeper-3.4.6/conf/zoo.cfg # dataDir目录下添加标识身份 myid(这个需要手动做)
# vim $dataDir/myid 将机器的标识填入,比如第一天机器即为1,二台为2 # 使配置生效
. /etc/profile
echo 'finish setup zookeeper && start setup zeromq……' # 安装zeromq
# 解决错误 cannot link with -luuid, install uuid-dev
yum install uuid-devel && yum install libuuid-devel tar -zxf zeromq-2.1.7.tar.gz
cd zeromq-2.1.7
./configure && make && sudo make install && sudo ldconfig
cd .. echo 'finish setup zeromq && start setup jzmq ……' # 安装jzmq
tar -zxf jzmq.tar && cd jzmq && ./autogen.sh && ./configure && make && sudo make install
cd .. # 安装 jstrom
echo 'finish setup jzmq && start setup jstorm ……'
mkdir /home/work/jstorm/jstorm_data
unzip jstorm-0.9.6.2.zip -d /opt/ echo 'export JSTORM_HOME=/opt/jstorm-0.9.6.2' >> ~/.bashrc
echo 'export PATH=$PATH:$JSTORM_HOME/bin' >> ~/.bashrc echo 'after configure bashrc for jstorm'
source ~/.bashrc # 配置$JSTORM_HOME/conf/storm.yaml
echo 'start configuration storm.yaml ……'
sed -i '/localhost"$/'d /opt/jstorm-0.9.6.2/conf/storm.yaml
sed -i /'storm.zookeeper.servers:/a\ - "192.168.9.94"' /opt/jstorm-0.9.6.2/conf/storm.yaml
sed -i /'storm.zookeeper.servers:/a\ - "192.168.9.93"' /opt/jstorm-0.9.6.2/conf/storm.yaml
sed -i /'storm.zookeeper.servers:/a\ - "192.168.9.92"' /opt/jstorm-0.9.6.2/conf/storm.yaml
sed -i 's/%JSTORM_HOME%\/data/\/home\/work\/jstorm\/jstorm_data/g' /opt/jstorm-0.9.6.2/conf/storm.yaml
sed -i /'storm.zookeeper.root/a\ nimbus.host: "192.168.9.92"' /opt/jstorm-0.9.6.2/conf/storm.yaml # 下面这两句只需要在安装 jstorm_ui 和提交jar节点的机器上面执行就可以了
#mkdir ~/.jstorm
#cp -f $JSTORM_HOME/conf/storm.yaml ~/.jstorm echo 'congratilations ! you have successfully install jstorm on your machine ! Enjoy it !'

2.1.2 Jstorm_web_ui 监控搭建 :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
#!/bin/bash

# author: xirong 
# date : 2015-05-11 #########
# 安装 jstorm 监控 UI 页面 (只需要在一台机器上面安装即可)
# 此脚本执行前需要先执行脚本 1.jstorm_cluster_install.sh
######### echo 'start install apache-tomcat-7.0.61 '
mkdir ~/.jstorm
cp -f $JSTORM_HOME/conf/storm.yaml ~/.jstorm tar -zxf apache-tomcat-7.0.61.tar.gz -C /opt/
cd /opt/apache-tomcat-7.0.61/webapps
cp $JSTORM_HOME/jstorm-ui-0.9.6.2.war ./
mv ROOT ROOT.old
ln -s jstorm-ui-0.9.6.2 ROOT
cd ../bin
./startup.sh echo 'congratulaions ! you have install jstorm_ui! enjoy it !' # 如果本机端口8080没有开放,那么需要开放端口号8080以供外面可以访问
#/sbin/iptables -I INPUT -p tcp --dport 8080 -j ACCEPT
#/etc/rc.d/init.d/iptables save
#/etc/init.d/iptables restart

2.1.3 jstorm 集群启动 测试

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
#!/bin/bash

# author: xirong 
# date : 2015-05-11 #####
# 启动 jstorm脚本
# 1. 先启动必须组件 zookeeper,启动前必须确定每台机器自己的myid文件
#### # 先启动必须组件 zookeeper,启动前必须确定每台机器自己的myid文件,不明白,查看安装地方
cd /opt/zookeeper-3.4.6
sh bin/zkServer.sh start echo 'zookeeper has started ! please see status :' # leader or follower
sh bin/zkServer.sh status # 详细命令 http://www.wangyuxiong.com/archives/51725 # 启动 jstorm 服务 自动脚本 $JSTORM_HOME/logs/supervisor.log检查有无错误
sh /opt/jstorm-0.9.6.2/bin/start.sh # 只需要在nimbus机器上面执行,如果已经ok的话,就不需要了
# nohup jstorm nimbus &
# $JSTORM_HOME/logs/nimbus.log检查有无错误 # 停止
#sh /opt/jstorm-0.9.6.2/bin/stop.sh

监控页面如下(当然这只是官方例子,证明安装部署的ok):
分布式实时日志系统(一)环境搭建之 Jstorm 集群搭建过程/Jstorm集群一键安装部署

分布式实时日志系统(一)环境搭建之 Jstorm 集群搭建过程/Jstorm集群一键安装部署

2.2 安装注意

  • java环境配置建议1.7以上
  • 集群三台机器需要关闭防火墙,否则错误 “java.net.NoRouteToHostException: 没有到主机的路由
1
2
3
4
[root@master shirdrn]# service iptables stop  
Flushing firewall rules: [ OK ]
Setting chains to policy ACCEPT: filter [ OK ]
Unloading iptables modules: [ OK ]

三、jstorm 常用命令

  1. 启动 nimbus “nohup jstorm nimbus & “ 查看$JSTORM_HOME/logs/nimbus.log 检查错误日志
  2. 启动 supervisor “nohup jstorm supervisor &” 查看$JSTORM_HOME/logs/supervisor.log 检查有无错误
  3. 停止 “sh $JSTORM_HOME/bin/stop.sh”

完整命令列表同storm一样,包括jar、kill、activate、deactivate、rebalance、repl、classpath、localconfvalue、remoteconfvalue、nimbus、supervisor、ui、drpc等,详细见:https://github.com/techdocscn/storm/blob/master/source/documentation/Command-line-client.md

四、zookeeper 常用命令

zk 集群搭建过程:

常用命令:

  1. 启动ZK服务: sh bin/zkServer.sh start
  2. 查看ZK服务状态: sh bin/zkServer.sh status
  3. 停止ZK服务: sh bin/zkServer.sh stop
  4. 重启ZK服务: sh bin/zkServer.sh restart
    或者连接到服务器 bin/zkCli.sh -server 127.0.0.1:2181 输入help 查看操作帮助

其它使用命令详细参考: http://www.wangyuxiong.com/archives/51725

学习资料:

Jstorm中使用zookeeper主要用于Storm集群各节点的分布式协调工作,具体功能如下:
(1)存储客户端提供的topology任务信息,nimbus负责将任务分配信息写入Zookeeper,supervisor从Zookeeper上读取任务分配信息;
(2)存储supervisor和worker的心跳(包括它们的状态),使得nimbus可以监控整个集群的状态, 从而重启一些挂掉的worker;
(3)存储整个集群的所有状态信息和配置信息。
具体目录结构参考:storm在ZooKeeper中的目录结构

五、jstorm.zip 包和脚本下载

在 zip 文件夹里面有完整的上述三个骄傲本,使用的时候直接下载zip文件夹即可,下载地址 : 百度网盘 ,密码:btcq

六、storm 学习资料

大圆那些事 http://www.cnblogs.com/panfeng412/tag/Storm/
*明 https://xumingming.sinaapp.com/category/storm/
常用的一些基本命令 http://my.oschina.net/infiniteSpace/blog/339193
jstorm通用介绍 http://luoshi0801.iteye.com/blog/2168848
简单之美个人博客 http://shiyanjun.cn/archives/1019.html

jstorm深入分析:http://hexiaoqiao.sinaapp.com/2014/06/jstorm%E4%BB%8B%E7%BB%8D/
介绍nimbus :http://hexiaoqiao.sinaapp.com/2014/06/jstorm%E4%B9%8Bnimbus%E7%AE%80%E4%BB%8B/
介绍 superviser :http://hexiaoqiao.sinaapp.com/2014/07/jstorm%E4%B9%8Bsupervisor%E7%AE%80%E4%BB%8B/
storm 入门教程(量子恒道官方博客) http://blog.linezing.com/?cat=92

原文http://www.ixirong.com/2015/05/12/how-to-install-jstorm-cluster/

分布式实时日志系统(一)环境搭建之 Jstorm 集群搭建过程/Jstorm集群一键安装部署的更多相关文章

  1. 分布式实时日志系统(四) 环境搭建之centos 6.4下hbase 1.0.1 分布式集群搭建

    一.hbase简介 HBase是一个开源的非关系型分布式数据库(NoSQL),它参考了谷歌的BigTable建模,实现的编程语言为 Java.它是Apache软件基金会的Hadoop项目的一部分,运行 ...

  2. 分布式实时日志系统(二) 环境搭建之 flume 集群搭建/flume ng资料

    最近公司业务数据量越来越大,以前的基于消息队列的日志系统越来越难以满足目前的业务量,表现为消息积压,日志延迟,日志存储日期过短,所以,我们开始着手要重新设计这块,业界已经有了比较成熟的流程,即基于流式 ...

  3. 布式实时日志系统(三) 环境搭建之centos 6.4下hadoop 2.5.2完全分布式集群搭建最全资料

    最近公司业务数据量越来越大,以前的基于消息队列的日志系统越来越难以满足目前的业务量,表现为消息积压,日志延迟,日志存储日期过短,所以,我们开始着手要重新设计这块,业界已经有了比较成熟的流程,即基于流式 ...

  4. 转: 透过CAT,来看分布式实时监控系统的设计与实现

    评注: 开源的分布式监控系统 转:http://www.infoq.com/cn/articles/distributed-real-time-monitoring-and-control-syste ...

  5. ELK实时日志分析平台环境部署--完整记录

    在日常运维工作中,对于系统和业务日志的处理尤为重要.今天,在这里分享一下自己部署的ELK(+Redis)-开源实时日志分析平台的记录过程(仅依据本人的实际操作为例说明,如有误述,敬请指出)~ ==== ...

  6. 透过CAT,来看分布式实时监控系统的设计与实现

    2011年底,我加入大众点评网,出于很偶然的机会,决定开发CAT,为各个业务线打造分布式实时监控系统,CAT的核心概念源自eBay闭源系统CAL----eBay的几大法宝之一. 在当今互联网时代,业务 ...

  7. ELK实时日志分析平台环境部署--完整记录(转)

    在日常运维工作中,对于系统和业务日志的处理尤为重要.今天,在这里分享一下自己部署的ELK(+Redis)-开源实时日志分析平台的记录过程(仅依据本人的实际操作为例说明,如有误述,敬请指出)~ ==== ...

  8. ELK实时日志分析平台环境部署

    为什么要用到ELK一般我们需要进行日志分析场景是:直接在日志文件中 grep.awk 就可以获得自己想要的信息.但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档.文本搜索太慢怎么办 ...

  9. 分布式实时日志分析解决方案ELK部署架构

    一.概述 ELK 已经成为目前最流行的集中式日志解决方案,它主要是由Beats.Logstash.Elasticsearch.Kibana等组件组成,来共同完成实时日志的收集,存储,展示等一站式的解决 ...

随机推荐

  1. 树形DP(简单题)(Y HDU4705)

    题意:给出一个n个节点的树形图,统计{A,B,C}的数量,其中ABC分别是树上三个不同的节点,并且这三个节点不能被一条路径覆盖 分析:对于下图 进行dfs深搜统计,num[u]统计回溯到当前节点u,并 ...

  2. performance_schema 变量

    performance_schema 这个变量来控制performance_schema库的禁用和启用 1.performance_schema的值说明 performance_schema=1 表示 ...

  3. Session和Cookie总结

    一.Session和Cookie 1.Cookie 1.cookie创建于服务器,保存于浏览器,保存了特定网站操作记录和资料凭证的信息. 2.未设置cookie期限的时候,默认是关闭浏览器后cooki ...

  4. 用雷达统计成绩单、numpy、matplotlib的使用

    #e19.1DrawRadar import numpy as np import matplotlib.pyplot as plt import matplotlib matplotlib.rcPa ...

  5. MATLAB绘图功能(2) 二维底层绘图修饰

    文末源代码 部分源代码   % x=0:0.1:2*pi; % y=sin(x); % plot(x,y); % line对象 % h = line([-pi:0.01:pi],sin([-pi:0. ...

  6. 用 Anaconda 完美解决 Python2 和 python3 共存问题

    Python3 被越来越多的开发者所接受,同时让人尴尬的是很多遗留的老系统依旧运行在 Python2 的环境中,因此有时你不得不同时在两个版本中进行开发,调试. 如何在系统中同时共存 Python2 ...

  7. sklearn的快速使用

    传统的机器学习任务从开始到建模的一般流程是:获取数据 -> 数据预处理 -> 训练建模 -> 模型评估 -> 预测,分类.本文我们将依据传统机器学习的流程,看看在每一步流程中都 ...

  8. Navigation - How to define the structure of the navigation tree via the NavigationItemAttribute

    In the meantime, you should use the Model Editor to create such a navigation structure. There are se ...

  9. 定价(Price)

    传送门 [题目描述] 在市场上有很多商品的定价类似于 999 元.4999 元.8999 元这样.它们和 1000 元.5000 元和 9000 元并没有什么本质区别,但是在心理学上会让人感觉便宜很多 ...

  10. springboot 配置jsp支持

      springboot默认并不支持jsp模板,所以需要配置. 下面是一个可以运行的例子: 首先配置属性文件: spring.http.encoding.force=true spring.http. ...