最近工作实在是太忙了,我把之前翻译的官方的文档先放上来吧,希望对大家有所帮助~
介绍
Azkaban2新功能:
1、Web UI
2、简单工作流上传
3、更容易设置job的依赖关系
4、调度工作流
5、权限设置
6、Kill和restart工作流
7、模块化和插件化
8、日志和设计工作流和job
搭建
Azkaban2是相当容易搭建的,尽管它比azkaban要进行更多的插件组装。在Azkaban2中有两个server和一个数据库需要搭建:
l MySQL
l Azkaban Web Server - 是一个和web接口一样的充当控制器功能的Jetty Server
l Azkaban Executor Server - 用于提交工作流
下载
需要从Azkaban下载3个包: web server, executor server 和MySQL启动脚本。
下载地址:
https://github.com/azkaban/azkaban2/wiki/Download-Packages
搭建数据库
现在,Azkaban只能用MySQL进行数据存储。
l 下载azkaban-sql-script tar包。
l 运行包中的mysql脚本来创建数据库表。
获取JDBC驱动jar包
下载地址:http://www.mysql.com/downloads/connector/j/
搭建Web Server
下载并安装
1、下载azkaban-web-server tar包。将其解压到你安装azkaban web的目录下。
2、Copy jdbc驱动jar包到./extlib目录下。Azkaban将会自动检查和加载这 个目录下的外部引入jar包。
在 conf 目录下,会有以下几个文件:
文件 |
描述 |
azkaban.properties |
用于Azkanba运行时的属性配置 |
global.properties |
全局静态属性,作为共享属性共享给每一个工作流程和job |
azkaban-users.xml |
用于添加用户和角色权限的属性文件。如果XmlUserManager没有启动,则这个文件将不会被使用 |
搭建SSL
Azkaban使用SSL socket连接器。可以根据以下链接提供的方法创建:
http://docs.codehaus.org/display/JETTY/How+to+configure+SSL
一旦一个keystore文件被创建,Azkaban必须要给出它的位置和密码,包括azkaban.properties中下面的内容页应该被重写:
jetty.keystor-keystore jetty.password=password jetty.keypassword=password jetty.truststore=keystore jetty.trustpassword=password |
搭建UserManager
Azkaban使用UserManager提供验证和用户角色的设置。默认情况下,Azkaban使用XmlUserManager获取username/passwords和从azkaban-users.xml中得到的角色设置,azkaban-users.xml可以再azkaban.properties文件中查看到:
l user.manager.class=azkaban.user.XmlUserManager
l User.manager.xml.file=conf/azkaban-users.xml
接下来是一个azkaban-users.xml文件的例子:
<azkaban-users> |
也可以利用其他实现权限验证和设置的方法通过实现azkaban.user.UserManager接口并改变user.manager.class属性来重写UserManager。
搭建数据库
为了让Azkaban web client可以连接到MySQL,需要配azkaban.properties 文件中的一下属性:
database.type=mysql |
配置主机和端口号
配置azkaban.properties中的属性:
executor.port=12321 executor.host=<url> |
搭建Web Client
Azkaban作为一个Jetty Server搭建。你可以执行Azkaban将会使用的端口 号和连接的数量。
颜色主题和名称可以定制的安装,特别是在区别多版本的Azkaban上非常有用。
安装可视化插件
之前的Azkaban版本包含HDFS浏览。在新版本的Azkaban中,它可以作为一个插件进行配置。
为了安装可视化插件,需要下载并文件解压到./plugin/viewer目录下。
运行Web Server
Bin目录下应该包含azkaban-web-start.sh文件。用这个文件来启动Azkaban Web Server。使用azkaban-web-shutdown.sh关闭azkaban。
-------------------------------------------------------------------------------------------------------
Azkaban Web Server设置
一般属性
Property |
Description |
Default |
azkaban.name |
将会在Azkaban UI中展示出来的azkaban的名字 |
Local |
azkaban.label |
一个描述Azkaban实例的标签 |
My Local Azkaban |
azkaban.color |
设置Azkaban UI颜色的一个十六进制的值 |
#FF3601 (red) |
web.resource.dir |
设置UI的css和javascript文件存放的路径 |
src/web |
default.timezone |
默认的时区 |
America/Los_Angeles |
user.manager.class |
用户管理用户权限的 user manager。默认是XmlUserManager |
azkaban.user.XmlUserManager |
mail.sender |
邮件发送的地址 |
|
mail.host |
邮件server主机地址 |
|
mail.user |
邮件server用户名 |
|
mail.password |
邮件server密码 |
|
azkaban.should.proxy |
被HDFS浏览器使用。如果以安全的形式使用Hadoop1.0+则设置为true。即将会被移除 |
false |
proxy.keytab.location |
被HDFS浏览器使用。如果以安全的形式使用Hadoop1.0+则设置为true。即将会被移除 |
|
proxy.user |
代理用户 |
|
viewer.plugin.dir |
可视化插件被安装到的目录 |
plugins/viewer |
Jetty 属性
Property |
Description |
Default |
jetty.maxThreads |
最大请求线程数 |
25 |
jetty.ssl.port |
Ssl端口号 |
8443 |
jetty.keystore |
The keystore file |
keystore |
jetty.password |
Jetty password |
password |
jetty.keypassword |
The keypassword |
password |
jetty.truststore |
The trust store |
keystore |
jetty.trustpassword |
The trust password |
password |
Mysql连接属性
Property |
Description |
Default |
database.type |
数据库类型,现在只支持mysql |
mysql |
mysql.port |
Mysql数据库的端口号 |
3306 |
mysql.host |
Mysql数据库的主机地址 |
localhost |
mysql.database |
Mysql数据库名称 |
azkaban2 |
mysql.user |
mysql user |
azkaban |
mysql.password |
mysql password |
password |
mysql.numconnections |
Azkaban webclient可以开放给数据库的连接数量 |
100 |
Execurot Sercer属性
Properties |
Description |
Default |
executor.port |
azkaban executor server端口号 |
12321 |
executor.host |
azkaban executor server主机地址 |
localhost |
设置Executor Server
下载和安装
1、下载azkaban-executor-server tar包。将其解压到azkaban executor的安装目录下。
2、Copy jdbc驱动jar包到./extlib目录下。
File |
Description |
azkaban.properties |
Azkaban运行时属性 |
global.properties |
全局静态属性,作为共享属性共享给每一个工作流程和job |
搭建数据库
为了让Azkaban web client可以连接到MySQL,需要配azkaban.properties 文件中的一下属性:
database.type=mysql |
配置主机和端口号
配置azkaban.properties中的属性:
executor.maxThreads=50 executor.port=12321 |
-----------------------------------------------------------------------------
转载请注明出处:http://blog.csdn.net/gloria__zhang/article/details/12402051