Storm实时流处理Hello World

时间：2022-02-15 22:29:25

近来在看Storm的相关资料，以下总结一下配置过程和Hello World例子。

Storm是分布式的实时计算系统。详细文档可参考Storm网站，也可以参阅《Getting started with storm》，以下程序示例即来自于这本书。

先看配置(可参考这里)：

配置文件在下载安装包中的conf文件夹，名字为storm.yaml

########### These MUST be filled in for a storm configuration

storm.zookeeper.servers:

     - "server1"

#     - "server2"

#

nimbus.host: "server1"

storm.local.dir: "/storm/data"

supervisor.slots.ports:

    - 6700

    - 6701

    - 6702

    - 6703

#

# ##### These may optionally be filled in:

#

## List of custom serializations

# topology.kryo.register:

#     - org.mycompany.MyType

#     - org.mycompany.MyType2: org.mycompany.MyType2Serializer

#

## List of custom kryo decorators

# topology.kryo.decorators:

#     - org.mycompany.MyDecorator

#

## Locations of the drpc servers

# drpc.servers:

#     - "server1"

#     - "server2"

## Metrics Consumers

# topology.metrics.consumer.register:

#   - class: "backtype.storm.metrics.LoggingMetricsConsumer"

#     parallelism.hint: 1

#   - class: "org.mycompany.MyMetricsConsumer"

#     parallelism.hint: 1

#     argument:

#       - endpoint: "metrics-collector.mycompany.org"

其中nimbus.host: "server1"指定storm集群中master的主机名为server1，storm.zookeeper.servers指定storm所需要的zookeeper服务器主机名为server1（装在同一服务器上），supervisor.slots.ports指定storm集群中worker使用的socket端口。

其中storm的命令如下所示，分别对应启动master，worker和ui，zookeeper服务请参考zookeeper介绍。

#storm nimbus

#storm spuervisor

#storm ui

ui可以通过浏览器访问以下网址：http://server1:8080/，如下图所示：

Storm实时流处理Hello World

从ui可以监测系统运行情况，可以手动控制topology的运行。

再看一下如果编译运行计算任务程序，以下例子来自于《Getting started with storm》，可以从这里下载源代码。示例程序通过maven编译，对应的编译配置文件为pom.xml，为了适配storm新版本。做了如下修改（调依赖整storm的版本为0.8.0）：

Storm实时流处理Hello World

编译的命令为(不编译测试脚本)：

#mvn compile -Dmaven.test.skip=true

打包：

#mvn package

打包文件放置在target目录，共有两个，一个包含依赖，一个不包含依赖。storm限制storm库相关jar文件不能打包到最终jar文件，所以将storm依赖项配置修改为如下内容（当然可以直接使用jar命令打包）：

                <dependency>

                        <groupId>storm</groupId>

                        <artifactId>storm</artifactId>

                        <version>0.8.0</version>

                        <!-- keep storm out of the jar-with-dependencies -->

                        <scope>provided</scope>

                </dependency>

<scope>provided</scope>限定最终包含依赖的jar文件不会包含storm。

示例中的TopologyStarter.java文件做如下修改，即将LocalCluster.submitTopology调用替换为StormSubmitter.submitTopology，将计算以集群方式提交。

命令如下所示：

#storm jar mypackage-with-dependencies.jar storm.analytics.TopologyStarter

任务提交后，可以从ui监控其执行状态。

storm涉及的相关理论在后续文章中整理，以上文字作为随笔记录备做后续参考，以防重复劳动。

以上使用storm 0.9.1

相关文章