hadoop+eclipse集群搭建及测试

时间：2021-08-25 16:47:22

　　前段时间搭了下hadoop，每次都会碰到很多问题，也没整理过，每次搜索都麻烦，现在整理下

一.准备工作

　　1.准备俩计算机，安装linux系统,分别装好jdk（虚拟机操作一样）

　　nano /etc/hostname  修改hostname 
　　nano /etc/hosts     添加ip及hostname信息

2.计算机信息如下

主机名 ip地址 作用 启动的进程
test1   192.168.155.2 master/slave namenode,jobtracker,secondarynamenode
test2 192.168.155.3 slave datanode,tasktracker

　　

注：要配置多个节点的集群操作一样，我就按着两台来了，配置差不多就行。我的环境：ubuntu13.0.4+jdk1.7+hadoop1.0.4+hbase0.94.3

特别提醒：各台机子使用相同用户名，各安装目录均相同，比如hadoop目录都为/home/smallby/hadoop-1.0.4

　　3.用户选择

分别创建用户hadoop，属于hadoop用户组

useradd hadoop

cd /home/hadoop

chown -R hadoop /usr/local/hadoop-0.20./

chgrp -R hadoop /usr/local/hadoop-0.20./

　　4.ssh免登陆　　

　　 4.1.安装ssh

sudo apt-get install ssh  
netstat -nat   查看22端口是否开启了。 
ssh localhost  测试ssh,输入密码，回车

　　 4.2.ssh免登陆配置

ssh-keygen  -t  rsa                                生成的密钥对id_rsa，id_rsa.pub
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys    把id_rsa.pub追加到授权的key里面去，若无权限使用chmod赋权限
ssh localhost                                      再次测试,输入yes，发现本机已不用输入密码登陆
scp ~/.ssh/authorized_key test2:/home/hadoop/.ssh/ 测试test2节点，ssh test2，输入yes,成功免密码登陆

二.配置阶段

　　1.配置hadoop

　　  下载解压缩hadoop-1.0.4至home目录，在home下可看到hadoop-1.0.4目录,进入conf目录

1.1修改hadoop-env.sh

尾部添加

export JAVA_HOME=/home/hadoop/jdk1..0_51    为安装jdk的目录

 　　 1.2修改core-site.xml

<configuration>

<property>

 <name>fs.default.name</name>

  <value>hdfs://test1:9000</value>                   //namenode路径

</property>

<property>

  <name>hadoop.tmp.dir</name>                        //hadoop临时路径

 <value>/home/hadoop/hadoop_1.0.4/var</value>

</property>

</configuration>

　   1.3修改hdfs-site.xml

<configuration>

<property>

<name>dfs.name.dir</name>

<value>/home/hadoop/name1, /home/hadoop/name2</value> //hadoop的name目录路径

<description>  </description>

</property>

<property>

<name>dfs.data.dir</name>

<value>/home/hadoop/data1, /home/hadoop/data2</value>

<description> </description>

</property>

<property>

  <name>dfs.replication</name>

  <value></vaue>                                     //俩节点，备份2份。这里的数目不能超过节点数

</property>

</configuration>

　   1.4修改mapred-site.xml

<configuration>

<property>

  <name>mapred.job.tracker</name>

  <value>test1:</value>

</property>

<property>

  <name>mapred.local.dir</name>

 <value>/home/hadoop/hadoop_1.0.4/var</value>

</property>

</configuration>    

      1.5修改masters,slaves　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　

masters   test1

slaves      test1

            test2

2.配置环境变量

nano ~/.bashrc
尾部添加
#java
export JAVA_HOME=/home/hadoop/jdk1.7.0_51
export PATH=$PATH:$JAVA_HOME/bin
#hadoop
export HADOOP_HOME=/home/hadoop/hadoop-1.0.4
export PATH=$PATH:$HADOOP_HOME/bin
. ~/.bashrc

3.向节点中传送hadoop文件

scp -r /home/hadoop/hadoop-1.0.4 hadoop@test2:/home/hadoop/

4.格式化namenode

hadoop namenode -format

5.启动hadoop

start-all.sh
使用jps在test1看到datanode,namenode,jobtracker,tasktracker,secondnamenode
        test2看到datanode,tasktracker
进入test1:50030看到俩节点

6.停止hadoop

stop-all.sh

时间仓促，hbase和eclipse还没整理

相关文章