windows搭建大数据Hadoop2.9.0平台

时间:2022-05-20 08:35:41

一、需要工具如下

1.VMware

2.jdk-8u161-linux-x64.tar.gz

3.securecrt(相当于xshell)

4.filezilla(给虚拟机传输文件)

5.Centos7.iso

6.hadoop-2.9.0.tar.gz

二、搭建步骤(可参考https://www.bilibili.com/video/av15390641/?p=6和https://www.cnblogs.com/thousfeet/p/8618696.html)

1.打开VMware创建虚拟机,一路next,在选择镜像那一步时,选择之前下载好的centos7镜像

2.启动虚拟机系统,自行根据提示配置,暂时可以不用设置用户

3.配置完成后输入用户名root ,密码。输入ifcong,,查看IP地址。

4.windows搭建大数据Hadoop2.9.0平台


打开filezila,输入主机IP,虚拟机有用户名(root)端口填写22,电机快速连接。

5.连接成功后,打开hadoop-3.0.1.tar.gz和jdk-8u161-linux-x64.tar.gz的所在目录,直接将两个压缩包拖拽进centos7的文件夹目录下,即可完成传输,在centos7的命令行终端输入ls,,可查看是否传输成功。

6.修改主机名

windows搭建大数据Hadoop2.9.0平台

windows搭建大数据Hadoop2.9.0平台

7.配置java环境变量

首先将jdk解压(框中的命令行,,-C 后面为解压到的指定路径)

windows搭建大数据Hadoop2.9.0平台

sudo vi /etc/profile

在最末尾添加两行

export JAVA_HOME=/home/thousfeet/app/jdk1.8.0_161(jdk解压后所在路径,可进入jdk文件夹后,在命令行输入pwd,即可出现路径,鼠标左击选中为复制,再右键为粘贴)

export PATH=$PATH:$JAVA_HOME/bi

配置好后,在命令行输入 source /etc/profile,再输入java -version,看到能够使用。这样就已经配置好了。

windows搭建大数据Hadoop2.9.0平台

8.配置hadoop2.9.0

一、将hadoop按照同样的放置解压

进入解压目录(cd /app/hadoop-2.9.0/etc/hadop)

二、配置hadoop-env.sh

vi hadoop-env.sh   将export JAVA_HOME等号后面的改为之前jdk解压后的路径

三、配置core-site.xml,参考下图

windows搭建大数据Hadoop2.9.0平台

四、配置hdfs-site.xml,参考下图

windows搭建大数据Hadoop2.9.0平台

五、配置mapred-site.xml,,直接vi mapred-site.xml会报错,要做修改

输入mv mapred-site.xml.template mapred-site.xml

再输入vi mapred-site.xml就可以修改了

windows搭建大数据Hadoop2.9.0平台


六、配置yarn-site.xml,参考下图

windows搭建大数据Hadoop2.9.0平台

七、配置环境变量

输入 sudo vi /etc/profile

加入一行 export HADOOP_HOME=hadoop解压路径(自己参照jdk配置)

修改PATH,,追加参数export PATh=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

最后再source /etc/profile

八、关闭防火墙

windows搭建大数据Hadoop2.9.0平台

九、实现ssh免密登陆

1.ssh-keygen -t rsa,,然后一路yes加回车

2.cd.ssh

touch authorized_keys

chmod 600 authorized_keys

3.cat id_rsa.pub >> authorized_keys

ssh root,,出现下图则成功

windows搭建大数据Hadoop2.9.0平台

十、启动hadoop

windows搭建大数据Hadoop2.9.0平台

windows搭建大数据Hadoop2.9.0平台