1.Hadoop集群搭建之Linux主机环境准备

时间：2022-08-23 06:52:25

Hadoop集群搭建之Linux主机环境

创建虚拟机包含1个主节点master，2个从节点slave1,slave2

  • 虚拟机网络连接模式为host-only（非虚拟机环境可跳过）
  • 集群规划如下表：

    主机名 | IP | 子网掩码 | 安装的软件

    ---|---|----|-----

    master | 192.168.1.201 | 255.255.255.0 | jdk、hadoop、zookeeper

    slave1| 192.168.1.202 | 255.255.255.0 | jdk、hadoop、zookeeper

    slave2| 192.168.1.203 | 255.255.255.0 | jdk、hadoop、zookeeper

  • 让普通用户具备sudo权限

切换到root，之后 在/etc/sudoers文件中加入一行

root ALL=(ALL) ALL

hadoop ALL=(ALL) ALL

  • 命令行界面运行级别为3，图形界面运行级别为5（关闭图形界面可以节省开销）
 init 3  ##开启命令行界面，需要root权限

 init 5  ##开启图形界面

 startx  ##在命令行界面开启图形界面

修改开机默认启动运行级别需要修改文件

 vi /etc/inittab

 ###将 id:5:initdefault: 这一行中的5修改为需要的运行级别
  • 配置虚拟网卡（非虚拟机环境可跳过）

点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -> apply -> ok

回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 -> 设置windows的IP：192.168.1.100 子网掩码：255.255.255.0 -> 点击确定

在虚拟软件上 --My Computer -> 选中虚拟机 -> 右键 -> settings -> network adapter -> host only -> ok

  • 修改主机名
vim /etc/sysconfig/network

##修改为

NETWORKING=yes

HOSTNAME=master

注：配置文件生效必须使用sudo hostname master(使用该命令后配置已经生效，但需要重新登录才能看见效果)或者重启服务器(reboot)

  • 修改IP

利用图形界面进行修改

进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual -> 点击add按钮 -> 添加IP：192.168.1.201 子网掩码：255.255.255.0 网关：192.168.1.1 -> apply

利用命令行修改配置文件

vim /etc/sysconfig/network-scripts/ifcfg-eth0

		DEVICE="eth0"

		BOOTPROTO="static"               ###

		HWADDR="00:0C:29:3C:BF:E7"

		IPV6INIT="yes"

		NM_CONTROLLED="yes"

		ONBOOT="yes"

		TYPE="Ethernet"

		UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"

		IPADDR="192.168.1.201"           ###IP地址

		NETMASK="255.255.255.0"          ###子网掩码

		GATEWAY="192.168.1.1"            ###网关

带###的为需要修改的项目，如果找不到ifcfg-eth0文件，请参考博客centos 中没有 ifcfg-eth0 配置文件的解决办法

注：配置文件生效必须重启network服务（sudo service network restart）或者重启Linux服务器（reboot）

  • 修改主机名和ip的映射关系(方便以后直接通过主机名来访问，而不需要记忆IP地址)
sudo vim /etc/hosts

###直接追加

192.168.1.201	master

测试：通过ping master结果查看是否修改成功；Windows系统通过修改C盘-->Windows-->System32-->drivers-->etc目录下hosts文件.

  • 关闭防火墙
        #查看防火墙状态

		sudo service iptables status

		#关闭防火墙

		sudo service iptables stop

		#查看防火墙开机启动状态

		sudo chkconfig iptables --list

		#关闭防火墙开机启动

		sudo chkconfig iptables off

注：重启Linux系统生效

至此，master主机环境已经准备完毕。salve1和slave2环境准备同理。

相关文章