文件名称:CustomInputFormatCollection:Hadoop Mapreduce InputFormat 集合
文件大小:12KB
文件格式:ZIP
更新时间:2024-07-03 17:11:23
Java
Hadoop 代码使用方式 job.setInputFormatClass(SmallFileCombineTextInputFormat.class); 当前Maven提加如下依赖 讲无法从reposity中找到直接jar,需手动编译下载,后续加入到 sohu 公司内部repo二方库中 org.apache.hadoop hadoop-mapreduce-custom-inputformat 1.0-SNAPSHOT 运行命令如下: hadoop jar hadoop-mapreduce-custom-inputformat-1.0-SNAPSHOT.jar org.apache.hadoop.mapreduce.sample.SmallFileWordCount -Dmapreduce.input.fileinputformat.split.maxsize=10
【文件预览】:
CustomInputFormatCollection-master
----.gitignore(585B)
----src()
--------main()
----pom.xml(4KB)
----README.md(1KB)