CustomInputFormatCollection:Hadoop Mapreduce InputFormat 集合

时间:2021-06-13 23:24:43
【文件属性】:
文件名称:CustomInputFormatCollection:Hadoop Mapreduce InputFormat 集合
文件大小:12KB
文件格式:ZIP
更新时间:2021-06-13 23:24:43
Java Hadoop 代码使用方式 job.setInputFormatClass(SmallFileCombineTextInputFormat.class); 当前Maven提加如下依赖 讲无法从reposity中找到直接jar,需手动编译下载,后续加入到 sohu 公司内部repo二方库中 org.apache.hadoop hadoop-mapreduce-custom-inputformat 1.0-SNAPSHOT 运行命令如下: hadoop jar hadoop-mapreduce-custom-inputformat-1.0-SNAPSHOT.jar org.apache.hadoop.mapreduce.sample.SmallFileWordCount -Dmapreduce.input.fileinputformat.split.maxsize=10
【文件预览】:
CustomInputFormatCollection-master
----.gitignore(585B)
----src()
--------main()
----pom.xml(4KB)
----README.md(1KB)

网友评论