【文件属性】:
文件名称:CustomInputFormatCollection:Hadoop Mapreduce InputFormat 集合
文件大小:12KB
文件格式:ZIP
更新时间:2021-06-13 23:24:43
Java
Hadoop 代码使用方式
job.setInputFormatClass(SmallFileCombineTextInputFormat.class);
当前Maven提加如下依赖 讲无法从reposity中找到直接jar,需手动编译下载,后续加入到
sohu 公司内部repo二方库中
org.apache.hadoop
hadoop-mapreduce-custom-inputformat
1.0-SNAPSHOT
运行命令如下:
hadoop jar hadoop-mapreduce-custom-inputformat-1.0-SNAPSHOT.jar
org.apache.hadoop.mapreduce.sample.SmallFileWordCount
-Dmapreduce.input.fileinputformat.split.maxsize=10
【文件预览】:
CustomInputFormatCollection-master
----.gitignore(585B)
----src()
--------main()
----pom.xml(4KB)
----README.md(1KB)