一、需要工具如下
1.VMware
2.jdk-8u161-linux-x64.tar.gz
3.securecrt(相当于xshell)
4.filezilla(给虚拟机传输文件)
5.Centos7.iso
6.hadoop-2.9.0.tar.gz
二、搭建步骤(可参考https://www.bilibili.com/video/av15390641/?p=6和https://www.cnblogs.com/thousfeet/p/8618696.html)
1.打开VMware创建虚拟机,一路next,在选择镜像那一步时,选择之前下载好的centos7镜像
2.启动虚拟机系统,自行根据提示配置,暂时可以不用设置用户
3.配置完成后输入用户名root ,密码。输入ifcong,,查看IP地址。
4.
打开filezila,输入主机IP,虚拟机有用户名(root)端口填写22,电机快速连接。
5.连接成功后,打开hadoop-3.0.1.tar.gz和jdk-8u161-linux-x64.tar.gz的所在目录,直接将两个压缩包拖拽进centos7的文件夹目录下,即可完成传输,在centos7的命令行终端输入ls,,可查看是否传输成功。
6.修改主机名
7.配置java环境变量
首先将jdk解压(框中的命令行,,-C 后面为解压到的指定路径)
sudo vi /etc/profile
在最末尾添加两行
export JAVA_HOME=/home/thousfeet/app/jdk1.8.0_161(jdk解压后所在路径,可进入jdk文件夹后,在命令行输入pwd,即可出现路径,鼠标左击选中为复制,再右键为粘贴)
export PATH=$PATH:$JAVA_HOME/bi
配置好后,在命令行输入 source /etc/profile,再输入java -version,看到能够使用。这样就已经配置好了。
8.配置hadoop2.9.0
一、将hadoop按照同样的放置解压
进入解压目录(cd /app/hadoop-2.9.0/etc/hadop)
二、配置hadoop-env.sh
vi hadoop-env.sh 将export JAVA_HOME等号后面的改为之前jdk解压后的路径
三、配置core-site.xml,参考下图
四、配置hdfs-site.xml,参考下图
五、配置mapred-site.xml,,直接vi mapred-site.xml会报错,要做修改
输入mv mapred-site.xml.template mapred-site.xml
再输入vi mapred-site.xml就可以修改了
六、配置yarn-site.xml,参考下图
七、配置环境变量
输入 sudo vi /etc/profile
加入一行 export HADOOP_HOME=hadoop解压路径(自己参照jdk配置)
修改PATH,,追加参数export PATh=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
最后再source /etc/profile
八、关闭防火墙
九、实现ssh免密登陆
1.ssh-keygen -t rsa,,然后一路yes加回车
2.cd.ssh
touch authorized_keys
chmod 600 authorized_keys
3.cat id_rsa.pub >> authorized_keys
ssh root,,出现下图则成功
十、启动hadoop