HUE提交MapReduce作业示例

时间:2022-05-25 21:54:00


说明

因为HUE也是通过Oozie的REST提交作业,故看过Oozie提交作业总结后,在HUE中提交作业变得相当简单。


操作步骤

步骤1–新建MapReduce的action

HUE提交MapReduce作业示例

步骤2–填写配置 

HUE提交MapReduce作业示例

HUE提交MapReduce作业示例

图中所有的”Hadoop job properties”如下,

mapreduce.input.fileinputformat.inputdir  ${inputDir}
mapreduce.output.fileoutputformat.outputdir ${outputDir}
mapreduce.job.map.class wordcount.WordCount$TokenizerMapper
mapreduce.job.reduce.class wordcount.WordCount$IntSumReducer
mapreduce.job.combine.class wordcount.WordCount$IntSumReducer
mapreduce.job.output.key.class org.apache.hadoop.io.Text
mapreduce.job.output.value.class org.apache.hadoop.io.IntWritable
mapred.mapper.new-api true
mapred.reducer.new-api true
mapreduce.job.reduces 1

步骤3–提交作业

提交作业后,填写上述设置的输入输出路径参数便可以成功运行,见如下,

HUE提交MapReduce作业示例