hadoop环境搭建

时间:2022-05-22 15:58:50

osubtu16.04(单机模式),存储空间25G,内存2G密码那啥(!!)

1:任务清单

参考书籍,(hadoop3权威指南)

(环境(系统macos12,java18101 ,hadoop173,单机模式ok,跑出来wordCountok(1:英文,2英文文章,3汉字))

总结:1:免密码ssh2:brew环境自己配3:hdfs的文件的

put

bin/hdfs dfs -put wordss /test2/

hadoop自己带的reduce的英文单词统计的 jar

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /test2/words /test2/out1;

还有文件的查看

bin/hadoop fs -cat /test2/out1/part-r-00000

2:eclipse插件,自己写自己的mapreduce程序?