我的配置环境看我的上篇博文。
配置过程:
(1)把插件放到eclipse/plugins目录下。(我的版本上一篇也有)
)重启eclipse,配置Hadoop installation directory
如果插件安装成功,打开Windows—Preferences后,在窗口左侧会有Hadoop Map/Reduce选项,点击此选项,在窗口右侧设置Hadoop安装路径
)配置Map/Reduce Locations
打开Windows—Open Perspective—Other,选择Map/Reduce,点击OK
点击Map/Reduce Location选项卡,点击右边小象图标,打开Hadoop Location配置窗口:
输入Location Name,任意名称即可.配置Map/Reduce Master和DFS Mastrer,Host和Port配置成与core-site.xml的设置一致即可(9000)。(貌似Map/Reduce Master 的端口设置任何数字都可以?)
点击"Finish"按钮,关闭窗口。
点击左侧的DFSLocations—>myhadoop(上一步配置的location name),如能看到user,表示安装成功
)新建WordCount项目
File—>Project,选择Map/Reduce Project,输入项目名称比如:WordCount等。
然后就可以开始写了。
WordCount的代码网上有很多不再赘述。
运行:
HDFS上创建目录/test
hadoop fs -mkdir /test
拷贝本地hello.txt到HDFS的/test里
hadoop fs -copyFromLocal /usr/local/hadoop/input/hello.txt /test
点击WordCount.java,右键,点击Run As—>Run Configurations->arguments,配置运行参数,即输入和输出文件夹
hdfs://localhost:9000/test
hdfs://localhost:9000/test/out
点击Run按钮,运行程序。
运行完成后,查看运行结果
:
hadoop fs -ls output
可以看到有两个输出结果,_SUCCESS和part-r-00000
执行hadoop fs -cat output/*
方法2:
展开DFS Locations,如下图所示,双击打开part-r00000查看结果