搭建hadoop2.9.0伪分布式步骤
使用了centos7,jdk1.8,hadoop2.9.0 版本算是很新的了.没有使用什么古老的版本.
1. 查看自带的jdk,卸载centos中自带的jdk
查看:
rpm -qa |grep java
卸载:
Yum –y remove jdk___
2. 临时关闭防火墙
systemctl stop firewalld
3. 安装jdk
解压下载好的jdk,配置环境变量/etc/profile
因为我都是root在操作,其实是为了偷懒,随意就放在root下面了,不要学我(捂脸)
exportJAVA_HOME=/root/soft/jdk1.8.0_151
exportCLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
exportPATH=$PATH:$JAVA_HOME/bin
重新加载,source /etc/profile
Java 进行安装完成的验证
4. 解压下载完成的hadoop2.9
进入解压完成的hadoop2.9 文件夹中.(其帮助文档在hadoop-2.9.0\share\doc\hadoop\index.html这里的,可以查看)
因为处于学习阶段,所以使用了比较新的版本,但是,只是搭建了伪分布式的hadoop
因为我们使用的centos,默认安装了ssh的,所以不管那么多了.
1. 配置hadoop中的java位置,配置的文件是在:
etc/hadoop/hadoop-env.sh 中的export JAVA_HOME=/usr/java/latest 后面的位置修改成自己现在jdk所在的目录就可以保存了
2. 验证上一步的配置完成
bin/hadoop
看到了其中的文档就说明配置没有问题,可以继续了.
3. 配置免密码登陆,首先ssh localhost 查看登陆是否需要密码,需要的进行如下的操作(只针对本机的操作):
ssh-keygen-t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys
chmod 0600~/.ssh/authorized_keys
执行完后再进行ssh localhost的验证.
4. 配置hdfs
hadoop使用hdfs作为其分布式文件系统，首先要对hdfs做相关配置。hadoop使用xml作为其配置文件的格式。
首先在etc/hadoop/core-site.xml这个文件里作如下配置：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
5. etc/hadoop/hdfs-site.xml文件里作如下配置：这里配置的是datanode的个数,因为是伪分布式的,所以只能是一个
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
6. 格式化文件系统
bin/hdfs namenode -format
7. 启动namenode 和datanode
sbin/start-dfs.sh
8. 验证是否成功 http://localhost:50070/
成功的的话就能看到效果了,这就是最简单的hadoop hdfs文件系统的伪分布式搭建了.
暂时就先写这么多,后面在写.
下周就可以收到我家的小可爱寄给我的香肠了,真是期待.感谢.还有23天回家.真是一种煎熬啊!!!