搭建伪分布式hadoop集群

时间：2024-03-29 09:12:29

开始之前强调最关键的一个点

如果你多次的格式化，在格式化的之前 一定要把所有目录的data目录给删除了 不要光删除主节点或者压根不删除


我已经将搭建好的虚拟机环境上传到网盘，大家可以直接使用

https://pan.baidu.com/s/1bpMorz5      软件-虚拟机环境

用户名 root 密码hadoop（小写）

用户名hadoop 密码 hadoop

如果下载本人的环境  请重新设置ip

如果报错如下图

搭建伪分布式hadoop集群

删除 每个节点的 /home/hadoop/data 目录,然后重新格式化



机器环境 hadoop1 hadoop2 hadoop3

hadoop1 - 主节点

hadoop2 - 子节点

hadoop3 - 子节点


1.每台机器配置好了jdk  

2.每台机器ssh互通

本机的环境和虚拟机软件的环境 以及如何在虚拟机系统安装环境 参考http://blog.csdn.net/oracle8090/article/category/6918168 这里不做赘述


本次的安装部署为2.6.1版本


 1.上传HADOOP安装包

 2.将文件解压到目录 /home/hadoop/apps/

3.修改配置文件

3.1 hadoop-env.sh

          # Thejava implementation to use. 配置jdk的路径
          export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_65

3.2 core-site.xml

 <configuration>
<property>
<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
<name>fs.defaultFS</name>
<value>hdfs://hadoop1:9000</value>
</property>
<property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/apps/hadoop-2.6.4/tmp</value>
</property>
</configuration>

3.3hdfs-sit.xml

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/data/name</value>
</property>


<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/data/data</value>
</property>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>


<property>
<name>dfs.secondary.http.address</name>
<value>hadoop1:50090</value>
</property>

</configuration>

3.4  mv   mapred-site.xml.template mapred-site.xml

<configuration>
<property>
<!-- 指定mr运行在yarn上 -->
<name>mapreduce.framework.name</name>
<value>yarn</value> <!--默认是local只在本地跑单机 .不会再分布式集群跑. -->
</property>

</configuration>
3.5 yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<!-- 指定YARN的老大（ResourceManager）的地址 -->
<name>yarn.resourcemanager.hostname</name>
<value>hadoop1</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

3.6 salves

hadoop1

hadoop2

hadoop3

4添加环境变量

export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_65/
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

5.将安装文件复制到其他节点上去

scp -r apps/hadoop-2.6.4 [email protected]:/home/hadoop/apps

scp -r apps/hadoop-2.6.4 [email protected]:/home/hadoop/apps

6.初始化HDFS

在主节点 执行bin/hadoop namenode -format

7.启动集群

在主节点 start-all.sh

8.访问集群

http://192.168.1.101:50070 （HDFS管理界面）

http://192.168.1.101:8088（MR管理界面）





相关文章