在eclipse中使用hadoop插件

时间:2022-03-19 15:33:03

我的配置环境看我的上篇博文。

配置过程:

(1)把插件放到eclipse/plugins目录下。(我的版本上一篇也有)

)重启eclipse,配置Hadoop installation directory

如果插件安装成功,打开Windows—Preferences后,在窗口左侧会有Hadoop Map/Reduce选项,点击此选项,在窗口右侧设置Hadoop安装路径

)配置Map/Reduce Locations

打开Windows—Open Perspective—Other,选择Map/Reduce,点击OK

点击Map/Reduce Location选项卡,点击右边小象图标,打开Hadoop Location配置窗口:

输入Location Name,任意名称即可.配置Map/Reduce Master和DFS Mastrer,Host和Port配置成与core-site.xml的设置一致即可(9000)。(貌似Map/Reduce Master 的端口设置任何数字都可以?)

点击"Finish"按钮,关闭窗口。

点击左侧的DFSLocations—>myhadoop(上一步配置的location name),如能看到user,表示安装成功

)新建WordCount项目

File—>Project,选择Map/Reduce Project,输入项目名称比如:WordCount等。

然后就可以开始写了。

WordCount的代码网上有很多不再赘述。

运行:

HDFS上创建目录/test

hadoop fs -mkdir /test

拷贝本地hello.txt到HDFS的/test里

hadoop fs -copyFromLocal /usr/local/hadoop/input/hello.txt /test

点击WordCount.java,右键,点击Run As—>Run Configurations->arguments,配置运行参数,即输入和输出文件夹

hdfs://localhost:9000/test

hdfs://localhost:9000/test/out

点击Run按钮,运行程序。

运行完成后,查看运行结果

hadoop fs -ls output

可以看到有两个输出结果,_SUCCESS和part-r-00000

执行hadoop fs -cat output/*

方法2:

展开DFS Locations,如下图所示,双击打开part-r00000查看结果