搭建strom集群需要提前安装JDK、Zookeeper.在linux中解压之后修改配置文件storm.yaml。
1)storm.zookeeper.servers: 用于指定Zookeeper服务器的地址
storm.zookeeper.servers:
- "node9" - "node10" - "node11"
2)设置storm存储数据的本地目录
storm.local.dir: "/opt/data/storm"
3)指定storm集群那一台机器作为nimbus,从而worker可以从nimbus获取数据
nimbus.host: "node1"
4)指定supervisor机器上可以运行多少worker进程。每一个端口都可以启动一个worker进程,比如下面设置了四个端口,那么在一台supervisor机器中最多可以运行4个worker。在supervisor启动后,worker进程并不会立即启动,只有任务来临时才会启动,任务结束后worker进程自动关闭。
supervisor.slots.ports:
- 6700 - 6701 - 6702 - 6703
5)配置结束后,使用scp命令将修改的storm.yaml文件拷贝到集群的其他节点上
6)集群运行结束命令
// 运行主节点:nimbus
storm nimbus &
// 运行从节点:supervisor
storm supervisor &
// 运行web ui:core,运行后可以通过浏览器中8080端口查看如:http://192.168.246.181:8080
storm ui &
// 运行自带的测试例子WordCount
storm jar storm-starter-0.9.7.jar storm.starter.WordCountTopology WordCount
// 停止进程运行和杀死拓扑作业
pkill -f nimbus
pkill -f supervisor
pkill -f ui
storm kill WordCount