win系统下的eclipse连接和使用linux上的hadoop集群

时间:2022-06-21 08:03:33

先在win系统的hosts文件中加入下面内容

10.61.6.164master     //hadoop集群的master节点



一、首先在eclipse上安装hadoop插件

下载hadoop-eclipse-plugin-1.1.2.jar。将其复制到eclipse 安装文件夹下的plugins,再启动eclispe。这时在eclipse的File/New/other下会看到一下的内容,,证明插件成功安装

win系统下的eclipse连接和使用linux上的hadoop集群

二、在Window/show view/other里打开Map/Reduce Locations

win系统下的eclipse连接和使用linux上的hadoop集群


打开后会有下图所看到的的窗体。点击右側的紫色小象

win系统下的eclipse连接和使用linux上的hadoop集群


会弹出下图所看到的的窗体

win系统下的eclipse连接和使用linux上的hadoop集群


然后配置你的连接信息:

Location name:自己能够定义为不论什么名字

Host:是你的hadoop集群的master节点的ip地址

Port:必需按上图配置,当然假设你配置hadoop集群时将默认port换了,此处则为你自己改动的port号


配置完以后会在左側文件夹栏里看到

win系统下的eclipse连接和使用linux上的hadoop集群


三、配置程序执行參数(你的项目必需是mapreduce项目,而且已经加入hadoop里的全部jar包)

先在你的项目下建立一个in文件夹,并将data数据文件复制到当中,再将你的项目导出问jar文件。然后在你的项目的main函数里加入下面代码

conf.set("mapred.jar", "E://FreqItemSet.jar");//mapred.jar不能更改


右击你的项目。选择Run as/Run Configurations  

win系统下的eclipse连接和使用linux上的hadoop集群

点击Arguments

在里面加入上图中的内容

Lee 文件在HDFS上的存储路径<dfs_path>

in/data 输入文件(本地路径)<input>

3 项集的大小k

1支持度阈值<spt_dg>

out输出文件<本地路径><output>

点击ok你的项目就可以连接和使用你的hadoop集群了