Linux环境安装Eclipse及配置hadoop插件

时间:2021-06-25 20:16:14
摘要:第一次使用hadoop,另外eclipse也不太熟悉,所以把自己在安装过程中得琐碎记录下来。以备以后查看。

硬软件环境:

      ▪ 虚拟机: VMware Workstation 11.0.0 build-2305329
      ▪ 虚拟机安装操作系统: CentOS 6.5
      ▪ JDK: 1.6.0_45
      ▪ Hadoop: 1.2.1

1.下载Eclipse安装包

从elipse官网下载https://www.eclipse.org/downloads/

2.解压eclipse

tar -zxvf eclipse-jee-indigo-SR2-linux-gtk-x86_64.tar.gz

3.创建桌面快捷方式

centos系统桌面,右击,创建快捷方式

  Linux环境安装Eclipse及配置hadoop插件

   修改eclipse的内存配置,配置内存大小为512M,默认较小,会出现内存溢出错误。如下是修改后的eclipse.ini文件内容:

   Linux环境安装Eclipse及配置hadoop插件

  点击桌面创建的快捷方式,启动eclipse

4.在Eclipse下配置Hadoop插件

复制hadoop-eclipse-plugin-1.2.1.jar到eclipse安装目录下的plugins目录中。重启eclipse.

5.配置hadoop安装目录

window ->preference -> hadoop Map/Reduce -> Hadoop安装目录
注:在这里的Hadoop installation directory的目录为我们解压开来的Hadoop根目录

  Linux环境安装Eclipse及配置hadoop插件

 由于rpm文件,包含包比较少,这里将hadoop-1.2.1.tar.gz放置到rpm同级目录并解压,这里的目录及为解压后的文件路径

6.配置eclipse显示Map/Reduce视图

window ->Open Perspective -> other->Map/Reduce -> 点击“OK”
windows → show view → other->Map/Reduce Locations-> 点击“OK”

7.编辑Map/Reduce Location

在“Map/Reduce Locations” Tab页 点击图标<大象+>或者在空白的地方右键,选择“New Hadoop  location…”,弹出对话框“New hadoop location…”:

  Linux环境安装Eclipse及配置hadoop插件

     

Map/Reduce Master 部分相关定义:
Host:上一节搭建的集群中JobTracker所在的机器的IP地址
port:JobTracker的端口
两个参数就是 mapred-site.xml中mapred.job.tracker的ip和端口
DFS Master部分:
Host:就是上一节集群搭建中Namenode所在机器IP
Port:就是namenode的端口
这两个参数是在 core-site.xml里fs.default.name里面的ip和端口
User Name:
就是搭建Hadoop集群是所用的用户名,我这里用的是hadoop

填写完以上信息以后,关闭Eclipse,然后重新启动。为什么这么做呢?因为如果不重新启动,Advanced Parameters里,有些重
要的选项不能显示,重启后,来配制Advanced Parameters信息:

dfs.replication:
这个这里默认是3,但是要根据你的Datanode的个数来定,如果你仅有2个datanode,那么就写2,如果只有一个,就写1,大于或
者等于3个,写3
hadoop.tmp.dir:
这个要跟上节建立的Hadoop集群配置中core-site.xml 中的hadoop.tmp.dir设置一样,上节填写的是/tmp/hadoop-root,这里也
如是填写
点击保存,重新启动Eclipse

打开Project Explorer,可以看到HDFS文件系统:

Linux环境安装Eclipse及配置hadoop插件

mytest即为通过  hadoop fs -mkdir mytest  命令在HDFS创建的文件夹。