Hadoop学习之路(五)Hadoop集群搭建模式和各模式问题

时间:2021-08-24 10:33:56

分布式集群的通用问题

当前的HDFS和YARN都是一主多从的分布式架构,主从节点---管理者和工作者

问题:如果主节点或是管理者宕机了。会出现什么问题?

群龙无首,整个集群不可用。所以在一主多从的架构中都会有一个通用的问题:

当集群中的主节点宕机之后,整个集群不可用。这个现象叫做:单点故障。SPOF

单点故障讲述的概念有两点

1、如果说宕机的那个节点是从节点,那么整个集群能够继续运行,并且对外提供正常的服务。

2、如果说宕机的那个节点是主节点,那么整个集群就处于宕机状态。

通用的解决方案:高可用

概念:当正在对外提供服务器的主从节点宕机,那么备用的主节点立马上位对外提供服务。无缝的瞬时切换。

皇帝驾崩,太子继位。

集群的搭建的集中通用模式

1、单机模式

  表示所有的分布式系统都是单机的。

2、伪分布式模式(搭建在了只有一个节点的集群中)

  表示集群中的所有角色都分配给了一个节点。

  表示整个集群被安装在了只有一个节点的集群中的。

  主要用于做快速使用,去模拟分布式的效果。

3、分布式模式

  表示集群中的节点会被分配成很多种角色,分散在整个集群中。

  主要用于学习测试等等一些场景中。

4、高可用模式

  表示整个集群中的主节点会有多个

  注意区分:能够对外提供服务的主节点还是只有一个。其他的主节点全部处于一个热备的状态。

  正在对外提供服务的主节点:active  有且仅有一个

  热备的主节点:standby  可以有多个

  工作模式:1、在任意时刻,只有一个主节点是active的,active的主节点对外提供服务

       2、在任意时刻,都应至少有一个standby的主节点,等待active的宕机来进行接替

  架构模式:就是为了解决分布式集群中的通用问题SPOF

  不管是分布式架构还是高可用架构,都存在一个问题:主从结构---从节点数量太多了。最直观的的问题:造成主节点的工作压力过载,主节点会宕机,当前的这种现象是一种死循环

5、联邦模式

  表示当前集群中的主从节点都可以有很多个。

  1)主节点:可以有很多个的意思是说:同时对外提供服务的主节点有很多个。

            重点:每一个主节点都是用来管理整个集群中的一部分

  2)从节点:一定会有很多个。

  在联邦模式下还是会有问题:

  虽然这个集群中的一个主节点的压力被分摊到了多个主节点。但是这个多个主节点依然会有一个问题:SOFP

安装Hadoop集群中的一些通用问题

1、假如安装不成功,并且不知道应该怎么去解决这个安装错误:重装

   需要做的处理:处理安装步骤中不同的部分即可。第一次安装和重装时候的不同步骤:

   1)到修改配置文件以前,全部都不用动

   2)检查配置文件是否都正确

    先检查一个节点上的配置文件是否都正确,如果都正确,重新分发一次即可

   3)在安装分布式集群时,所有节点中的安装的安装目录和安装者,需要检查和确定

   4)删掉数据目录

    A. 删除主节点的工作目录:namenode的数据目录

        删除即可,只需要在主节点删除即可

    B. 删除从节点的工作目录:datanode的数据目录

        删除即可,把每个从节点上的这个对应数据目录都删掉

        如果以上两份数据都被删除了之后。整个集群当中就相当于没有存储任何的历史数据。所以就是一个全新的集群

 5)在确保数据正常和安装包都正常之后,进行重新初始化

     重点强调: hadoop集群的初始化,其实就是初始化HDFS集群, 只能在主节点进行初始化

     如果你只需要搭建YARN集群,那么是可以不用做初始化的。

  6)启动集群

  7)验证集群是否成功

Linux环境变量加载的顺序

用户环境变量 :仅仅只是当前用户使用 ~/.bashrc   ~/.bash_profile
系统环境变量 :给当前系统中的所有用户使用 /etc/profile

任何普通用户在进行登录的时候:会同时加载几个环境变量的配置文件:

按顺序:
1、/etc/profile
2、~/.bash_profile
3、~/.bashrc