Hadoop学习（1）---(64bit) Centos7 +Vmware安装及Hadoop环境预配置

时间：2021-03-16 17:19:25
大数据时代，任何行业都离不开大体量数据的分析技术。笔者最近开始使用Hadoop工具，在使用过程中遇到了各种问题，走了很多弯路，遂做记录。

  • 安装准备
    Vmware:VMwareworkstation_full_12.1.0.2487.1453173744
    Cent: CentOS-7-x86_64-DVD-1611.iso

    注意：为了可视化及后续开发工作，本文安装的为gnome版本。centos系统位数与vmware建立虚拟机的位数一致，且要与要安装的hadoop版本位数一致，否则会出现错误。

  • 安装流程

    1. 首先对vmware进行安装，完成后点击创建虚拟机，这过程较简单，可参照网络上教程来进行配置。需要注意的是在选择操作系统时选择Linux,版本选择CentOS 64位，之后网络部分选择NAT（网络地址转换）模式。其他部分按默认即可。

    2. 配置完成后进行安装系统
      CD/DVD选择CentOS7盘路径，之后开启此虚拟机，进行安装。安装阶段需要配置的有两处：磁盘配置（系统安装位置）以及root密码和用户创建。
      (1) 磁盘配置：/boot 200mib xfs
      /home 1024mib ext4
      /swap 2048mib swap
      / 16.8g ext4
      (2) 用户创建：为了后续hadoop安装中的SSH配置，用户名需要一致，例如用户安装四台虚拟机，一台master，三台slave，用户名均为hadoop。这样在主机进行登录时可以ssh +从机ip地址的形式直接登录，这部分在后边SSH配置部分进行详细说明。

  • CentOS系统配置

    1. 终端配置
      默认系统中无打开终端快捷键，比较别扭。可以打开设置-键盘-快捷键-增加（+），名称输入“Launch a Terminal”，命令输入/usr/bin/gnome-terminal，添加后单击自定义快捷键，按个人习惯配置快捷键，这里以Ctrl+t键 。

    2. 网络配置
      默认系统内网络服务为关闭，终端输入

      sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33

      打开后如下，进行配置，有注释的为需要更改或增加的项。

      TYPE=Ethernet
      BOOTPROTO=static ##需要静态ip则为static
      DEFROUTE=yes
      PEERDNS=yes
      PEERROUTES=yes
      IPV4_FAILURE_FATAL=no
      IPV6INIT=yes
      IPV6_AUTOCONF=yes
      IPV6_DEFROUTE=yes
      IPV6_PEERDNS=yes
      IPV6_PEERROUTES=yes
      IPV6_FAILURE_FATAL=no
      IPV6_ADDR_GEN_MODE=stable-privacy
      DNS1=192.168.38.2 ##dns用于外网域名解析
      IPADDR=192.168.38.101 ##配置IP地址
      GATEWAY=192.168.38.2 ##网关 从Vmware虚拟网络编辑器-VMnet8-Nat设置-网关
      NETMASK=255.255.255.0 ##子网掩码 
      NAME=ens33
      UUID=e14f3828-11c7-468f-91e0-1d4812447664
      DEVICE=ens33
      ONBOOT=yes ##是否开机自动启动

      配置完成后输入

      service network restart

      或

      systemctl restart network

      重启网络，测试网络输入

      ping www.csdn.com

      ping值正常则进行成功。

END
标签：

相关文章