Centos7下Hadoop的配置(单机,伪分布式和集群)(1)

时间:2021-12-15 06:09:49

Centos7下Hadoop的配置(单机,伪分布式和集群)(1)

(本文用于什么都不会的小白,一共是三篇,第一篇是安装一些必要的软件)
涉及的软件和包:
Mware Workstation Pro
CentOS-7-x86_64-DVD-1611.iso
hadoop-2.6.5.tar.gz
jdk-8u131-linux-x64.tar.gz
一.虚拟机的安装
1.下载虚拟机,我用的是VMware Workstation Pro。下载CentOS-7-x86_64-DVD-1611.iso文件。先解压虚拟机,按照安装向导,点击安装。安装好的之后,如下图:
Centos7下Hadoop的配置(单机,伪分布式和集群)(1)
选择“新建一个虚拟机”,点击下一步,直到出现以下界面,把CentOS-7-x86_64-DVD-1611.iso导入。如下图:
Centos7下Hadoop的配置(单机,伪分布式和集群)(1)
点击下一步,创建用户名字和密码,自此虚拟机和linux系统安装好了。
二.hadoop安装
打开centos7,点击“开启此虚拟机”就是开机了。打开右上角的电源标志,里面有网络设置,将其打开。打开linux的浏览器火狐浏览器,下载hadoop安装包 ,我安装的版本是hadoop-2.6.5.tar.gz。这个在官网就有的下载,我选择的是binary文件,不是source文件。
安装的默认文件夹是downloads文件。下载完成后,打开终端(application-termimal)。所有代码我都用斜体标出,打的时候注意空格。
以下命令的意思是将压缩包解压到/usr/local文件下。自己可以在该条指令结束后自己看一下本地文件夹。之后就是将解压之后的文件名称改为hadoop,最后是修改文件权限。注意,解压即是安装。
sudo tar -zxf ~/downloads/hadoop-2.6.5.tar.gz -C /usr/local
cd /usr/local/
sudo mv ./hadoop-2.6.5/ ./hadoop
sudo chown -R hadoop:hadoop ./hadoop
以下命令是查看hadoop是不是安装成功
*cd /usr/local/hadoop
./bin/hadoop version*
如图,如果出现以下结果,说明安装hadoop成功:
Centos7下Hadoop的配置(单机,伪分布式和集群)(1)
三.JDK的安装
hadoop2.6.5中是有自带的jdk的,但是为了以后自己编译的java程序运行方便,我还是安装了新的jdk。版本为jdk-8u131-linux-x64.tar.gz。在官网上就可以下载。同样的,我在linux系统下的火狐浏览器中下载,文件自动保存在downloads文件下。
以下代码的意思是解压安装,并修改名称:
sudo tar -zxf ~/downloads/jdk-8u131-linux-x64.tar.gz -C /usr/local
cd /usr/local/
sudo mv ./jdk-8u131-linux-x64/ ./jdk1.8.0_131
最后还需要配置JAVA_HOME的环境变量。打开bashrc文件进行修改。
vim ~/.bashrc
在文件的最下面输入,切换到输入,先按“i”,输入结束后,按“Esc”输入:wq 就好了
export JAVA_HOME=/usr/local/jdk1.8.0_131
Centos7下Hadoop的配置(单机,伪分布式和集群)(1)
退出后,对刚才的文件进行保存
source ~/.bashrc
最后检查一下是不是安装好了。输入
echo $JAVA_HOME
java -version
$JAVA_HOME/bin/java -version
如果得到以下结果就是安装正确,注意标红的地方要一致才行:
Centos7下Hadoop的配置(单机,伪分布式和集群)(1)

以上是所有的安装工作完成,接下来是配置hadoop的单机,伪分布和集群的搭建。第二篇是单机和伪分布的配置,第三篇是集群配置。
tips:
1.虚拟机安装的时候,出现回滚操作,可能是你之前安装的虚拟机没有卸载干净,或者有一个插件没有删除,自己百度一下。
2.安装虚拟机,有些机子是要进入BIOS进行修改权限的。
3.有些报错显示找不到该文件,是不是没有输入在该路径,加上cd /usr/local/hadoop即可。

slogen:社会王是我大哥!