安装hadoop及其配置和静态网络配置

时间:2024-05-21 19:17:21

1. 首先导入hadoop的压缩包,并解压到hadoop用户下的一个叫opt目录中,并把环境配置好,先进入到hadoop用户下面的opt文件中,opt文件中存放着我们解压了的hadoop-2.7.5

我们进入这个路径,当前路径为

安装hadoop及其配置和静态网络配置

这时候我们就在该路径下配置我们的环境变量

首先定义一个变量,将我们这个路径存起来,要不然手打的话很麻烦

安装hadoop及其配置和静态网络配置

然后我们来配置HADOOP_HOME,这个是告诉系统hadoop文件的主体在这个路径,要找就来这个路径找

安装hadoop及其配置和静态网络配置

我们先输出一下,看下路径是否正确,然后在重定向到hadoop用户的.bashrc下,这个文件是放hadoop用户的环境配置的地方,原命令是 echo exportHADOOP_HOME=$hadooppath >> ~/.bashrc  

然后我们再来将hadoop文件的真正存放可执行文件的路径给HADOOP_CONF_DIR

安装hadoop及其配置和静态网络配置

看下路径没错的,然后我们将它加入到环境中去,命令是

    echo exportHADOOP_CONF_DIR=$hadooppath/etc/hadoop >> ~/.bashrc

$表示后面是一个变量,的是否规范,如果加了\,就说明要转义一下,防止里面的内容发生变化,不加的话他会直接把变量里面的值输出,我们这里不加,要的就是hadooppath变量里面存放的路径

然后我们再将之前的路径导入到path里面去

安装hadoop及其配置和静态网络配置

这里我们加\是为了不让HADOOP_HOME转义,要不然这个路径会很长,太过长的话会使文件后面再也加不进东西

原命令是:

echo exportPATH=$PATH:\$HADOOP_HOME/bin:\$HADOOOP_HOME/sbin >> ~/.bashrc

导入后我们来刷新一下/.bashrc,

命令是

     source/.bashrc

然后会看到

安装hadoop及其配置和静态网络配置

我们刷新后,使用hadoop命令,如果有以上显示的话那么就已经配置成功了

2. 接下来配置静态网络,这样可以避免hadoop的所在的IP一直改,有了静态IP后,就可以不用考虑IP的事了

安装hadoop及其配置和静态网络配置

进入这个目录后我们就能对IP地址进行修改了

安装hadoop及其配置和静态网络配置

第一个箭头是将dhcp动态获取地址改为static静态的,

第二个箭头指系统在启动时是否**网卡

后面几个箭头是指我们要配置的静态网络

   IPADDR:你网卡的物理地址(可以不用写,系统自动会生成) 

   NETMASK:子网掩码 

   GATEWAY:网关

   DNS1:dns服务器

这个IP地址不能乱设置,要和我们虚拟机上的一致,在NAT模式下

安装hadoop及其配置和静态网络配置

网段为75网段,所以我们也要设置为75网段

然后我们使用systemctl restart network 命令就可以重启网卡了

我们输入ifconfig就可以看到我们设置好的静态IP了


3. 接下来我们给我们的用户换个名字,换一个叫python的名字修改主机名,这里我们换成另一个虚拟机了,所以名字用到的是python的名字

首先来进入/etc/hostname

   安装hadoop及其配置和静态网络配置

然后会看到

安装hadoop及其配置和静态网络配置

修改成我们想要修改的用户名

安装hadoop及其配置和静态网络配置

然后接着修改主机映射

进入/etc/hosts

安装hadoop及其配置和静态网络配置

接下来会看到这个界面

安装hadoop及其配置和静态网络配置

这里要加入我们的映射

安装hadoop及其配置和静态网络配置

然后reboot重启Linux系统即可

安装hadoop及其配置和静态网络配置

这样就把主机名改了

安装hadoop及其配置和静态网络配置

然后我们要python主机名和IP地址画上等于号,后面做hadoop中会讲到为什么要这么做,我们要进window系统中的C:\Windows\System32\drivers\etc\hosts路径来修改映射关系

安装hadoop及其配置和静态网络配置

因为hosts里面有权限,要放到外面来进行修改,修改后再扔回去

这样的话我们就把python和192.168.75.188绑定了

我们用xshell来验证下

安装hadoop及其配置和静态网络配置

看到这个就说明我们绑定了

安装hadoop及其配置和静态网络配置

以下这个文件我是在Linux这台虚拟机上配置的,上面配置的地方是在PythonLinux这台虚拟机上,请分清楚

首先,我们进入到hadoop用户的opt目录中去

我们解压后,会在opt这个文件夹下生成一个叫hadoop-2.7.5的文件,我们要进这里面的这个

~/opt/hadoop-2.7.5/etc/hadoop 这个目录里面,对以下这四个文件进行修改

   core-site.xml   (默认文件系统)

   hdfs-site.xml  (备份数和存储路径等)

   mapred-site.xml.templae  (启用yarn的调度框架)

   yarn-site.xml  (yarn)

以上者四个文件在hadoop启动过程中会被调用

1. core-site.xml 修改:

安装hadoop及其配置和静态网络配置

Python2是我们的主机名,后面的端口是开启hadoop的端口,记住该端口不能被占用

2.  hdfs-site.xml修改

安装hadoop及其配置和静态网络配置

3. mapred-site.xml  这个要改名,原文件叫mapred-site.xml.templae,我们在原文件上复制并且改名一份,直接对复制后的mapred-site.xml进行修改

安装hadoop及其配置和静态网络配置

4. yarn-site.xml 修改

 安装hadoop及其配置和静态网络配置