hadoop_学习_02_Hadoop环境搭建(单机)

时间：2024-04-23 10:04:06

一、环境准备

1.说明

hadoop的下载来源有：

官方版本：http://archive.apache.org/dist/hadoop/

CDH版本：http://archive.cloudera.com/cdh5

企业应用一般选择CDH版本，因为比较稳定。

若决定使用CDH版本，则要保证相关软件的CDH版本相同，如 选择 hadoop-2.6.0-cdh5.9.3  与  hbase-1.2.0-cdh5.9.3

2.环境准备

操作系统 : linux CentOS 6.8

jdk:1.7

cdh版本为： 5.9.3

hadoop-2.6.0-cdh5.9.3

二、服务器基本配置

1.配置主机名

（1）修改 hostname

sudo vim /etc/sysconfig/network

将HOSTNAME修改为 rayner (改成你自己的，所有的地方一致即可)

hadoop_学习_02_Hadoop环境搭建(单机)

（2）映射主机 ip 与主机名

sudo vim /etc/hosts

加入以下配置：

192.168.1.102  rayner

hadoop_学习_02_Hadoop环境搭建(单机)

2.关闭防火墙

关闭防火墙，这样就可以在本机 window 中访问虚拟机的所有端口了

CentOS 7版本以下输入:

service   iptables stop

CentOS 7 以上的版本输入：

systemctl   stop   firewalld.service

3.时间设置

输入:

date

查看服务器时间是否一致，若不一致则更改

更改时间命令

date -s ‘MMDDhhmmYYYY.ss’


三、Hadoop下载


1.hadoop下载地址


http://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz


2.下载hadoop




wget http://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz




3.解压hadoop




tar -zxvf  hadoop-2.6.0.tar.gz




4.创建文件夹




sudo mkdir /ray/hadoop

sudo mkdir /ray/hadoop/tmp

sudo mkdir /ray/hadoop/var

sudo mkdir /ray/hadoop/dfs

sudo mkdir /ray/hadoop/dfs/name

sudo mkdir /ray/hadoop/dfs/data




四、Hadoop环境配置


1.配置profile文件-环境变量


（1）编辑 profile 文件




sudo vim /etc/profile




（2）设置 HADOOP_HOME ，并将其添加到path中




# 1. java

export JAVA_HOME=/usr/java/jdk1.7.0_80

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

# 2. Tomcat

export CATALINA_HOME=/developer/apache-tomcat-7.0.73

# 3. Maven

export MAVEN_HOME=/developer/apache-maven-3.0.5

# 4. hadoop

export HADOOP_HOME=/developer/hadoop-2.6.0

#Path

export PATH=$HADOOP_HOME/bin:$MAVEN_HOME/bin:$CATALINA_HOME/bin:$JAVA_HOME/bin:$PATH

export LC_ALL=en_US.UTF-8




hadoop_学习_02_Hadoop环境搭建(单机)


（3）使配置生效




source /etc/profile




2.配置 hadoop-env.sh


(1) 进入路径：




cd  /developer/hadoop-2.6.0/etc/hadoop




hadoop_学习_02_Hadoop环境搭建(单机)


(2) 编辑 hadoop-env.sh




sudo vim hadoop-env.sh




(3) 配置JAVA_HOME


将${JAVA_HOME} 修改为自己的JDK路径  ，即


将




export   JAVA_HOME=${JAVA_HOME}




修改为：




export JAVA_HOME=/usr/java/jdk1.7.0_80




3.配置 core-site.xml


（1）编辑 core-site.xml




sudo vim core-site.xml




（2）在 configuration 节点中 加入以下配置


注意要将value替换成自己的




<!--1. tmp -->

<property>

    <name>hadoop.tmp.dir</name>

    <value>/ray/hadoop/tmp</value>

    <description>Abase for other temporary directories.</description>

</property>

<!--2. default.name -->

<property>

    <name>fs.default.name</name>

    <value>hdfs://rayner:9000</value>

</property>




4.配置 hdfs-site.xml


（1）编辑 hdfs-site.xml




sudo vim hdfs-site.xml




（2）在 configuration 节点中 加入以下配置




<!--1. name -->

<property>

   <name>dfs.name.dir</name>

   <value>/ray/hadoop/dfs/name</value>

   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>

</property>

<!--2. data -->

<property>

   <name>dfs.data.dir</name>

   <value>/ray/hadoop/dfs/data</value>

   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>

</property>

<!--3. replication -->

<property>

   <name>dfs.replication</name>

   <value>2</value>

</property>

<!--4. permissions -->

<property>

      <name>dfs.permissions</name>

      <value>false</value>

      <description>need not permissions</description>

</property>




说明：dfs.permissions配置为false后，可以允许不要检查权限就生成dfs上的文件，


方便倒是方便了，但是你需要防止误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true。


5.配置 mapred-site.xml


如果没有 mapred-site.xml 该文件，就复制mapred-site.xml.template文件并重命名为 mapred-site.xml。


(1) 编辑 mapred-site.xml




sudo vim mapred-site.xml




(2) 在 configuration 节点中 加入以下配置




<!--1. job -->

<property>

    <name>mapred.job.tracker</name>

    <value>rayner:9001</value>

</property>

<!--2. local -->

<property>

      <name>mapred.local.dir</name>

       <value>/ray/hadoop/var</value>

</property>

<!--3. framework -->

<property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

</property>




五、hadoop 常用命令


1.格式化namenode


第一次启动Hadoop需要初始化
切换到 /home/hadoop/hadoop2.8/bin目录下输入




hadoop namenode -format




这一步可能会出现异常：




Unable to determine local hostname -falling back to "localhost"

java.net.UnknownHostException: rayner: rayner




解决方法参见： hadoop_异常_01_ Unable to determine address of the host-falling back to "localhost" address java.net.UnknownHostException: rayner


2、启动hadoop




启                       /developer/hadoop-2.6.0/sbin/start-all.sh

停                       /developer/hadoop-2.6.0/sbin/stop-all.sh




（1）进入sbin目录，执行以下命令




/developer/hadoop-2.6.0/sbin/start-all.sh




（2）使用jps命令查看启动成功效果


hadoop_学习_02_Hadoop环境搭建(单机)


（2）浏览器输入： 127.0.0.1:8088/cluster  或者  192.168.1.102:8088/cluster  ，会出现下图


hadoop_学习_02_Hadoop环境搭建(单机)


（3）浏览器输入：127.0.0.1:50070   或者 192.168.1.102:50070


hadoop_学习_02_Hadoop环境搭建(单机)


2.查看hadoop下有哪些文件




hadoop fs -ls /




六、参考资料


1.大数据学习系列之一 ----- Hadoop环境搭建(单机)


下一篇：base_学习_01_HBase环境搭建(单机)
相关文章