Hadoop-chd4.4.0安装

时间：2022-11-22 16:26:44

Hadoop-cdh4下载地址：

http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDHTarballs/3.25.2013/CDH4-Downloadable-Tarballs/CDH4-Downloadable-Tarballs.html

一、建立linux用户

添加组：groupadd hadoopgroup

添加用户：adduser -g hadoopgroup hadoop

修改密码：passwd hadoop

二、上传文件hadoop cdh4文件

三、ssh无验证登陆

1、用hadoop登陆，执行：

    ssh-keygen -t rsa -P ""

    cat .ssh/id_rsa.pub >> .ssh/authorized_keys

    完成后，用ssh localhost测试。

2、将服务器的authorized_keys文本文件内容“追加”到各客户端的authorized_keys文件中，将客户端的authorized_keys追加到服务端的authorized_keys文件中。

四、Hadoop2配置

1、profile文件

export JAVA_HOME=/home/hadoop/jdk7/jdk1.7.0_45

export HADOOP_PREFIX="/home/hadoop/hadoop-2.0.0"

export HADOOP_MAPRED_HOME=${HADOOP_PREFIX}

export HADOOP_COMMON_HOME=${HADOOP_PREFIX}

export HADOOP_HDFS_HOME=${HADOOP_PREFIX}

export YARN_HOME=${HADOOP_PREFIX}

export PATH=$JAVA_HOME/bin:$PATH:/lib64:/usr/lib64:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

2、配置文件

hadoop-env.sh

core-site.xml

slave

hdfs-site.xml

yarn-site.xml

详细内容可参考服务器上已配置好的文件。

3、测试命令：

关闭访问墙：service iptables stop/staus

首次格式化:hadoop namenode -format

启动：start-all.sh

停止：stop-all.sh

查看进程：jps

 

验证是否可以登陆：

hadoop fs -mkdir hdfs://kit-b5:8020/testfolder

hadoop fs -ls hdfs://kit-b5:8020/

hadoop fs -copyFromLocal ./hadoop-2.2.0_bak/*.txt hdfs://kit-b5:8020/

验证map/reduce：

hadoop fs -mkdir hdfs://kit-b5:8020/input

hadoop fs -put /home/hadoop/hadoop-2.0.0-cdh4.4.0/*.txt hdfs://kit-b5:8020/input

hadoop jar /home/hadoop/hadoop-2.0.0-cdh4.4.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.0-cdh4.4.0.jar wordcount hdfs://kit-b5:8020/input hdfs://kit-b5:8020/output

hadoop fs -ls hdfs://kit-b5:8020/output

hadoop fs -cat hdfs://kit-b5:8020/output/part-r-00000 即可看到每个 单词的数量

相关文章