随之科技的进步,大数据应用已经变得越来越广泛,相关大数据的相关技术越来越成熟,闲暇之余,就基于centos7环境下搭建hadoop环境,做相关步骤演示,如有不合理之处,敬请大神指教。
1,准备一个centos7系统,安装jdk,并配置环境变量(网上步骤很多,本次不在详细介绍);
2.修改系统名字, vim etc/hostname
localhost.localdomain 修改为hadoop02(随意的),
3.创建hahdoop文件,将hahdoop安装到该文件夹下
mkdir hahdoop
解压hadoop,tar -zxvf hadoop-2.7.1_64bit.tar.gz -C hahdoop
4.配置hadoop环境变量;
vim /etc/profile
修改前只有jdk的环境变量
修改后
export JAVA_HOME=/usr/java/jdk1.8.0_111
export HADOOP_HOME=/root/hahdoop/hadoop-2.7.1/
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$ANT_HOME/bin
5.修改hadoop的配置文件:
进行hadoop目录下的etc中hadoop中:cd hahdoop/hadoop-2.7.1/etc/hadoop/
5.1修改hadoop-env.sh文件
vim hadoop-env.sh //25行,添加jdk的路径,和环境变量一致
修改前
修改后
5.2修改hdfs-site.xml文件
添加:<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
修改前
修改后:
5.3修改mapred-site.xml.template文件,将该文件改名为mapred-site.xml,
mv mapred-site.xml.template mapred-site.xml
并添加:<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
修改前:
修改后:
5.4修改core-site.xml文件
添加:
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop02:9000</value></property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hahdoop/hadoop-2.7.1/tmp</value>
</property>
修改前:
修改后:
5.5修改yarn-site.xml文件
添加:<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop02</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
修改前:
修改后:
5.6修改slaves文件,将localhost修改为hadoop02
6,配置文件修改完毕,开始创建tmp目录,返回hadoop目录下
执行命令bin/hdfs namenode -format
出现Storage directory /root/hahdoop/hadoop-2.7.1/tmp/dfs/name has been successfully formatted.即表示配置成功
启动hadoop,sbin/start-all.sh
执行后,遇到确定就是输入yes,遇到输入密码就是输入开机密码
7.开放50070端口,或者关闭防火墙,我这里关闭防火墙吧
8.在地址栏中输入地址和端口即可访问默认的hadoop环境系统 192.168.1.9:50070