【大数据】Hadoop单机安装配置

时间：2024-02-22 15:15:26
1.解压缩hadoop-2.7.6.tar.gz到/home/hadoop/Soft目录中

    

2.创建软链接，方便hadoop升级
 ln -s /home/hadoop/Soft/hadoop-2.7.6 /usr/local/soft/hadoop
 

 

根据软链接路劲，修改/etc/profile

export JAVA_HOME=/usr/local/soft/java
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/usr/local/soft/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:/usr/local/soft/zookeeper/bin:/usr/local/soft/hbase/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

使用vi /etc/profile编辑

使用source /etc/profile更新环境变量

 

3.配置hadoop伪分布式（要修改hadoop安装目录中的etc/hadoop下的5个文件）
 

 

第一个：hadoop-env.sh
     vim hadoop-env.sh
     export JAVA_HOME=/usr/local/soft/java
 

 

第二个：core-site.xml
<configuration>
          <!-- 用来指定hdfs的老大（NameNode）的地址 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://itcast01:9000</value>
        </property>
          <!-- 用来指定Hadoop运行时产生文件的存放目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/itcast/hadoop-2.2.0/tmp</value>
        </property>
</configuration>
 

 

第三个：hdfs-site.xml
     <configuration>
            <!-- 指定HDFS保存数据副本数量 --> 
          <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>
 

 

第四个：mapred-site.xml (需要从此文件复制mapred-site.xml.template)
     <configuration>
          <!-- 告诉hadoop以后MR运行在yarn上 -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
     </configuration>
 

 

第五个：yarn-site.xml
 
<configuration>
          <!-- NodeManager获取数据的方式是shuffle-->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
          <!-- 指定YARN的老大（resourcemanager）的地址 -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>itcast01</value>
        </property>
</configuration>
 

 

4..初始化HDFS
     
     #hadoop namenode -format(过时了)
     hdfs namenode -format
 

 

5.启动文HDFS和YARN
     ./start-all.sh（过时了）This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [it]
 

 

     #有个小问题（需要多次输入密码）
     接下来，使用jps查看进程情况
     jps（jps 在Linux/unix平台上简单察看当前java进程的一些简单情况），如果有以下进程则表示测试通过
Jps （java进程）
SecondaryNameNode （相当于NameNode的助理）
DataNode （hdfs部门的小弟，负责存放数据）
NameNode （hdfs部门的老大）
ResourceManager （yarn部门的老大，yarn负责资源管理）
NodeManager （yarn部门的小弟，可以一个，集群的话会有很多）
 

 

 
     另外，我们也可以在windows平台下，使用浏览器进行查看，是否搭建成功
     http://192.168.43.35:50070 
     http://192.168.43.35:8088 

 

相关文章