文件名称:COMP5349A1:使用 hadoop mapreduce 分析大数据集
文件大小:121KB
文件格式:ZIP
更新时间:2024-06-28 07:00:18
Java
COMP5349A1 使用 hadoop mapreduce 分析大数据集 详细要求请参考 assignment1_handout.pdf ##如何运行###requirement Hadoop 2.6.0 ###脚步 在您的 hdfs home 中创建一个名为place的 hdfs 目录并将上传到其中 在您的 hdfs home 中创建另一个名为photo 的hdfs 目录并将上传到其中 设置A1_HOME环境变量以存储每个作业的中间输出 在 pom.xml 目录中: mvn 包 cd 到task1.sh和 task2.sh 为每个任务,确保脚本与 MRDriverTask1.class (MRDriverTask2.class) 保持在同一目录中 将整数参数传递给 task1.sh(或 task2.sh),指示作业开始于。第一次,该参数始终为 1
【文件预览】:
COMP5349A1-master
----src()
--------main()
----pom.xml(1KB)
----README.md(852B)
----assignment1_handout.pdf(90KB)