win7下使用myeclipse连接hadoop2.6.0集群并运行wordCount例程

时间:2023-01-22 14:30:03
1: 设置 eclipse
选择"Window"菜单下的"Preference"," Hadoop  Map/Reduce"选项,选择Hadoop的安装目录(即hadoop在 win7 下的安装或者叫解压目录),如:D:\programes\hadoop-2.6.0
2:切换"Map/Reduce"工作视图, java 开发者都会的。

3:建立与Hadoop集群的连接,在Eclipse软件下面的"Map/Reduce Locations"进行右击,弹出一个选项,选择"New Hadoop Location",然后弹出一个窗体。 

win7下使用myeclipse连接hadoop2.6.0集群并运行wordCount例程

注意上面三个红框所示: 
1) Map/Reduce(V2)Master
对应mapred-site.xml配置中的mapreduce.jobtracker.http.address的参数,如下:
<property>
<name>mapreduce.jobtracker.http.address</name>
<value>master:50030</value>
</property>
2)DFS Master
对应core-site.xml配置中的:
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
3) User name
如果hdfs-site.xml配置中的:
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

如上所示为false时,这个用户名随便设,否则就要改成在linux中搭建hadoop平台使用的linux帐号。

4) 临时目录
接着点击"Advanced parameters"从中找见"hadoop.tmp.dir",修改成为我们Hadoop集群中设置的地址,我们的Hadoop集群是"/opt/hadoop-2.6.0/tmp",这个参数在"core-site.xml"进行了配置。

2: 查看HDFS文件系统,并尝试建立文件夹和上传文件。点击Eclipse软件左侧的"DFS Locations"下面的"myHadoop",就会展示出HDFS上的文件结构。

win7下使用myeclipse连接hadoop2.6.0集群并运行wordCount例程

1) user目录是可以在上面的Advanced parameters设置的,这个默认就是user。
2)可以在这里浏览hdfs上的文件,如同在linux下查看hdfs文件系统一样,同样,这里也可以上传与删除。
3)在hadoop目录下新建input目录,这个动作熟悉否?可还记得搭建hadoop平台完毕后,测试wordcount样例中有这个步骤?