oozie是服务于hadoop生态系统的工作流调度工具,job运行平台是区别于其他调度工具的最大的不同。但其实现的思路跟一般调度工具几乎完全相同。
首先是作为调度系统两大核心:依赖和触发。依赖可以是条件依赖,比如,资源依赖,依赖于某些数据文件的存在,也可以是任务依赖,比如依赖于另一个job的完成。在oozie里,每一个job对应一个action节点,这个节点可以是java,hadoop FS,mapred,hive,sqoop,OS shell等等。job之间的依赖通过动作节点完成,fork,join等。
触发主要指时间触发。依赖和触发在动作的方向上是相互的,依赖是必要条件,而触发是充分条件。
其次,调度系统本身不会去执行具体的job,而是将job相关的所有资源发送到真实的执行环境,比如hadoop jobtractor,hive client,关系型数据库系统等等,自己仅仅记录并监视job的执行状态,并对其状态的变化作出相应的动作,比如,job失败可以重新运行,job成功转到下一个节点。发送job的过程是一个非阻塞的行为,个别例外(比如hadoop fs操作)。
第三,调度系统本身可以是任意程序,例如,linux上的一个脚本程序发起的精灵进程,一个web 工程,也可以是个GUI的软件工具。
oozie作为一个调度引擎,是不同于hadoop的jobtracker实现的调度器的,虽然两者均为”Schedule“之意。oozie负责任务的调度分发,是指从提交作业的本地,将资源发送到job运行环境,比如hadoop集群。这个“分发”行为发生在hadoop集群外。而jobtracker是将hadoop作业拆分成若干个mapred子job,分派给tasktracker去执行。这个”分发“行为发生在hadoop集群内,是应用程序本身的功能,它可以自己选择job执行的先后顺序,或者停止一个正在执行的job,让出资源给另一个job,控制的更为精细。跟传统意义上的调度工具含义不同。
值得一提的是,oozie是apache的开源项目,但我们一般用cloudera或yahu的商用免费版,因为后者修复了apache版很多bug,并支持更多的功能。
oozie server是一个java web,可以用内置的tomcat容器,也可以用外部的,记录的信息比如日志等放在数据库中,推荐配置个mysql。
oozie 的安装是有点复杂的,需要仔细阅读文档。运行oozie应用时,作业配置文件,jar包,相关程序代码,比如hive ql要放在hdfs上,只有属性文件放在本地磁盘。
下面是几个例子:
coordinator.xml内容:
<coordinator-app name="cron-coord" frequency="${coord:minutes(10)}" start="${start}" end="${end}" timezone="UTC"
xmlns="uri:oozie:coordinator:0.1">
<action>
<workflow>
<app-path>${workflowAppUri}</app-path>
<configuration>
<property>
<name>jobTracker</name>
<value>${jobTracker}</value>
</property>
<property>
<name>nameNode</name>
<value>${nameNode}</value>
</property>
<property>
<name>queueName</name>
<value>${queueName}</value>
</property>
</configuration>
</workflow>
</action>
</coordinator-app>
workflow。xml内容:
<workflow-app xmlns="uri:oozie:workflow:0.2" name="hive-wf">
<start to="forking"/>
<fork name="forking">
<path start="hive-node"/>
<path start="hive-node2"/>
</fork>
<action name="hive-node">
<hive xmlns="uri:oozie:hive-action:0.2">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<job-xml>hdfs://master:54310/user/hadoop/examples/apps/hive5/conf/hive-site.xml</job-xml>
<configuration>
<property>
<name>mapred.job.queue.name</name>
<value>${queueName}</value>
</property>
<property>
<name>oozie.hive.defaults</name>
<value>my-hive-default.xml</value>
</property>
</configuration>
<script>dim_shop_category2.ql</script>
<param>ARG_OPTIME_ISO=${ARG_OPTIME_ISO}</param>
</hive>
<ok to="joining"/>
<error to="fail"/>
</action>
<action name="hive-node2">
<hive xmlns="uri:oozie:hive-action:0.2">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<job-xml>hdfs://master:54310/user/hadoop/examples/apps/hive5/conf/hive-site.xml</job-xml>
<configuration>
<property>
<name>mapred.job.queue.name</name>
<value>${queueName}</value>
</property>
<property>
<name>oozie.hive.defaults</name>
<value>my-hive-default.xml</value>
</property>
</configuration>
<script>dim_shop_category3.ql</script>
<param>ARG_OPTIME_ISO=${ARG_OPTIME_ISO}</param>
</hive>
<ok to="joining"/>
<error to="fail"/>
</action>
<join name="joining" to="hive-node3"/>
<action name="hive-node3">
<hive xmlns="uri:oozie:hive-action:0.2">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<job-xml>hdfs://master:54310/user/hadoop/examples/apps/hive5/conf/hive-site.xml</job-xml>
<configuration>
<property>
<name>mapred.job.queue.name</name>
<value>${queueName}</value>
</property>
<property>
<name>oozie.hive.defaults</name>
<value>my-hive-default.xml</value>
</property>
</configuration>
<script>dim_shop_category4.ql</script>
</hive>
<ok to="end"/>
<error to="fail"/>
</action>
<kill name="fail">
<message>Hive failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<end name="end"/>
</workflow-app>
该程序实现了每十分钟运行一次含有三个hive任务的job,timezone=“UTC”表示*时区区时,可在oozie-site中配置为东八区时间,GMT+0800.
oozie除了通过配置方式,经由oozie client 提交job外,还可以用其api来提交。workflow,properties等都可以通过java api来实现,并提交给oozie server。
oozie动作节点的扩展:
1、继承ActionExcutor编写自定义节点类。
2、为新组建定义schema,并添加到oozie-site配置文件中。
3、oozie-site.xml中注册新组建。
后面就可以在工作流配置文件中使用新的动作节点了。