eclipse 导入 hadoop项目

时间:2024-04-12 17:28:13

eclipse 导入hadoop 有三种方式,

1.直接找到  hadoop svn 资源库 在资源库中下

2.下载 hadoop 原码文件解压开之后  使用 maven 导入 (因为 hadoop 项目本省是使用maven 管理的)

3. 下载 hadoop  maven原码,将maven功能转换成 eclipse 项目 ,再在eclipse 导入

 

下边分别介绍这三种方式:

 

 一、hadoop svn 资源库 

 Hadoop 源代码共包括 common、hdfs(分布式文件系统)、mapred(MapReduce) 三部分,各自的 SVN 地址如下:

 

http://svn.apache.org/repos/asf/hadoop/common

 

http://svn.apache.org/repos/asf/hadoop/hdfs

 

http://svn.apache.org/repos/asf/hadoop/mapreduce

 

【注意】三个项目有依赖关系,common 是后两者的公共组件,mapred 则是基于 hdfs,但这些依赖关系已经处理好,无需开发者关心,三个项目可分别独立下载、编译 。

 

需要你的  eclipse  安装了 svn插件,  在 创建资源库位置,  下载自己需要的版本:

如下图:

 

 

选择自己需要的branches  下载:

 

 

下载 这是一个漫长的过程啊 .......

 

2. 构建 maven项目

       这里需要 eclipse  安装maven ,  

       选择菜单项File,然后选择Import,我们会看到一个Import对话框。在该对话框中选择General目录下的Maven Projects,然后单击Next按钮,就会出现Import Projects对话框。

选择 你到要入的  项目 目录:


eclipse 导入 hadoop项目
 

 

点击next  继续 完成;

 

3. 将maven项目 构建成  eclipse 项目导入

      下载  hadoop原码: 去官网下载,我下载的是:hadoop-0.23.9-src.tar.gz

        将原码解压  tar -zxvf hadoop-0.23.9-src.tar.gz

        进入到  hadoop目录中: cd hadoop-0.23.9-src

        将 maven装换成 eclipse 项目:(这里需要安装 maven  ,安装maven步骤:http://younglibin.iteye.com/admin/blogs/1923252

         安装完成后执行  mvn eclipse:eclipse   

        

       执行这一步 ,回到 服务器上下载 eclipse 的一些东西 ,保证你的网络畅通,我这都快卡死了 ,

看到这些 说明正在 构造 eclipse 项目


eclipse 导入 hadoop项目
 

 

看到 success  说明 已经构造成功了 


eclipse 导入 hadoop项目
 

 

构造完成后 ,在eclipse   导入已经存在 eclipse


eclipse 导入 hadoop项目
 

 

选择 刚刚执行 maven  命令的目录:


eclipse 导入 hadoop项目
 

 

 

 

最后会在 eclipse 中看到:



 
eclipse 导入 hadoop项目
 

 

    可以看到 经典的  wordcount 了 

 

 

 


eclipse 导入 hadoop项目