【大数据】Hadoop单机安装配置

时间:2024-02-22 15:15:26
1.解压缩hadoop-2.7.6.tar.gz到/home/hadoop/Soft目录中

    

2.创建软链接,方便hadoop升级
 ln -s /home/hadoop/Soft/hadoop-2.7.6 /usr/local/soft/hadoop
 

 

根据软链接路劲,修改/etc/profile

export JAVA_HOME=/usr/local/soft/java
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/usr/local/soft/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:/usr/local/soft/zookeeper/bin:/usr/local/soft/hbase/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

使用vi /etc/profile编辑

使用source /etc/profile更新环境变量

 

3.配置hadoop伪分布式(要修改hadoop安装目录中的etc/hadoop下的5个文件
 

 

第一个:hadoop-env.sh
     vim hadoop-env.sh
     export JAVA_HOME=/usr/local/soft/java
 

 

第二个:core-site.xml
<configuration>
          <!-- 用来指定hdfs的老大(NameNode)的地址 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://itcast01:9000</value>
        </property>
          <!-- 用来指定Hadoop运行时产生文件的存放目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/itcast/hadoop-2.2.0/tmp</value>
        </property>
</configuration>
 

 

第三个:hdfs-site.xml
     <configuration>
            <!-- 指定HDFS保存数据副本数量 --> 
          <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>
 

 

第四个:mapred-site.xml (需要从此文件复制mapred-site.xml.template)
     <configuration>
          <!-- 告诉hadoop以后MR运行在yarn上 -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
     </configuration>
 

 

第五个:yarn-site.xml
 
<configuration>
          <!-- NodeManager获取数据的方式是shuffle-->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
          <!-- 指定YARN的老大(resourcemanager)的地址 -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>itcast01</value>
        </property>
</configuration>
 

 

4..初始化HDFS
     
     #hadoop namenode -format(过时了)
     hdfs namenode -format
 

 

5.启动文HDFS和YARN
     ./start-all.sh(过时了)This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [it]
 

 

     #有个小问题(需要多次输入密码)
     接下来,使用jps查看进程情况
     jps(jps 在Linux/unix平台上简单察看当前java进程的一些简单情况),如果有以下进程则表示测试通过
Jps (java进程)
SecondaryNameNode (相当于NameNode的助理)
DataNode (hdfs部门的小弟,负责存放数据)
NameNode (hdfs部门的老大)
ResourceManager (yarn部门的老大,yarn负责资源管理)
NodeManager (yarn部门的小弟,可以一个,集群的话会有很多)
 

 

 
     另外,我们也可以在windows平台下,使用浏览器进行查看,是否搭建成功
     http://192.168.43.35:50070 
     http://192.168.43.35:8088