HBase学习笔记一

时间：2022-12-04 23:32:23

HBase简介

HBase概念

  • HBase的原型是谷歌的Bigtable论文
  • HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC上搭建起大规模结构化存储集群
  • HBase的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据

HBase特点

  • 海量存储

    • HBase适合存储PB级的海量数据，在PB级别的数据以及采用廉价机器存储的情况下，能在几十到百毫秒内返回数据

  • 列式存储

    • 此处的列式存储指的是列族存储，HBase是根据列族来存储数据的。列族下面可以有多个列，但是在创建表的时候必须指定列族

  • 易扩展性

    • HBase的扩展性主要体现在两个地方，一个是基于上层处理能力的扩展，一个是基于存储的扩展(HDFS),通过横向添加RegionServer的机器进行水平扩展，提升HBase上层的处理能力，提升HBase服务更多Region的能力

    注意：RegionServer的作用是管理region、承接业务的访问。通过横向添加DataNode的机器，进行存储层扩容，提升HBase的数据存储能力和提升后端存储的读写能力

  • 高并发

    • 在并发的情况下，HBase的单个IO延迟下降并不多，能获得高并发、低延迟的服务

  • 稀疏

    • 主要针对HBase列的灵活性，在列族中，你可以指定任意多的列，在列数据为空的情况下，不占用存储空间

HBase架构

HBase学习笔记一

组件介绍

  1. Client

    ​ Client包含了访问HBase的接口，另外Client还维护了对应的cache来加速HBase的访问，比如说cache的meta元数据的信息

  2. Zookeeper

    ​ HBase通过Zookeeper来做master的高可用、RegionServer的监控、元数据的入口以及集群配置的维护等工作。

    ​ Zookeeper的工作如下：

    • 通过Zookeeper来保证集群中只有一个master在运行，如果master异常，会通过竞争机制产生新的master提供服务

    • 通过Zookeeper来监控RegionServer的状态，当RegionServer有异常的时候，通过回调的形式通知Master RegionServer上下线的信息

    • 通过Zookeeper存储元数据的统一入口地址

  3. Hmaster

    • 为RegionServer分配Region

    • 维护整个集群的负载均衡

    • 维护集群的元数据信息

    • 当发现失效的Region时，并将失效的Region分配到正常的RegionServer上

    • 当RegionServer失效时，协调对应Hlog的拆分

  4. HRegionServer

    HRegionServer直接对接用户的读写请求，其实是真正“干活”的节点。

    HRegionServer的功能如下：

    • 管理master为它分配的Region
    • 处理来自客户端的读写请求
    • 负责和底层HDFS交互，存储数据到HDFS
    • 负责Region变大以后的拆分
    • 负责StoreFile的合并工作

  5. HDFS

    HDFS为HBase提供最终的底层数据存储服务，同时为HBase提供高可用(HLog存储在HDFS)的支持

    HDFS具体功能概括如下：

    • 提供元数据和表数据的底层分布式存储服务
    • 数据多副本，保证高可靠和高可用性

HBase中的角色

  1. HMaster

    • 监控RegionServer
    • 处理RegionServer故障转移
    • 处理元数据的变更
    • 处理Region的分配或转移
    • 在空闲时间进行数据的负载均衡
    • 通过Zookeeper将元数据的位置发送给客户端

  2. RegionServer

    • 负责存储HBase的实际数据
    • 处理分配给它的Region
    • 刷新缓存到HDFS
    • 维护HLog(一个RegionServer有一个HLog)
    • 执行压缩
    • 负责处理Region分片(自动分片)

    其他组件

    • Write-Ahead logs（WAL）

      HBase的修改记录，当对HBase读写数据的时候，数据并不是直接写进磁盘，它会在内存中保留一段时间(时间以及数据量阈值可以设定)。但把数据保存在内存中可能有更高的概率引起数据丢失，解决这个问题，数据会先写入一个叫做Write-Ahead logfile 的文件中，然后再写入内存中。在系统出现故障的时候，数据可以通过这个日志文件重建

    • Region

      HBase表的分片，HBase表会根据RowKey值被切分成不同的region存储在RegionServer中，在一个RegionServer中可以有多个不同的region

    • Store

      HFile存储在Store中，一个Store对应HBase表中的一个列族

    • MemStore

      内存存储，用来保存当前的数据操作，当数据保存在WAL中之后，RegionServer会在内存中存储键值对

    • HFile

      磁盘上保存原始数据的实际的物理文件，是实际的存储文件。StoreFile是以HFile的形式存储在HDFS的

    HBase安装

    后期会专门写大数据平台各类组件的具体安装笔记

  3. HBase的Shell操作

    进入HBase客户端命令行（任意节点均可）

    bin/hbase shell

    查看帮助命令(命令需要在进入客户端之后才能生效)

    help

    查看当前数据库中的所有表

    list

    创建表

    create 'student','info' (创建表时必须指定列族)

    插入数据到表中

    put 'student','1001','info:sex','male'
    
put 'student','1001','info:age','18'
    
put 'student','1002','info:name','Tom'
    
put 'student','1002','info:sex','female'
    
put 'student','1002','info:age','20'

    扫描查看表数据

    scan 'student'
    
scan 'student',{STARRROW => '1001',STOPROW => '1002'}
    
scan 'student',{STARTROW => '1001'}

    查看表结构

    describe 'student'

    更新指定字段的数据

    put 'student','1001','info:name','Nick'
    
put 'student','1001','info:age','30'

    查看“指定行”或“指定列族:列”的数据

    get 'student','1001'
    
get 'student','1001','info:name'

    统计表数据行数

    count 'student'

    删除数据

    (删除某个rowkey的全部数据)deleteall 'student','1001'
    
(删除某个rowkey的某一列数据)delete 'student','1002','info:sex'

    清空表数据(表结构仍然保留)

    truncate 'student' （注：清空表的操作顺序是先disable,后truncate）

    删除表

    第一步:disable 'student'
    
第二步:drop 'student'

    变更表信息

    将info列族中的数据存放3个版本
    
alter 'student',{NAME=>'info',VERSIONS=>3}
    
get 'student','1001',{COLUMN=>'info:name',VERSIONS=>3}

HBase数据结构

  1. RowKey — 行键

    Rowkey用来检索记录的主键，访问HBase表中的行只有三种方式

    • 通个单个RowKey访问
    • 通过RowKey的range
    • 全表扫描

    RowKey行键可以是任意字符串（最大长度是64KB，实际应用一般为10-100bytes）在HBase内部，Rowkey保存为字节数组。在存储的时候，数据按照RowKey的字典序排序存储。设计RowKey时，要充分利用排序存储这个特性，把经常读取的行存储在一起（位置相关性）

  2. Column Family — 列族

    HBase表中的每个列都归属于某一个列族。列族是表的schema的一部分（而列不是），必须在使用表之前定义。列名都以列族作为前缀，比如course:math course:english 是属于course这个列族的

  3. Time Stamp

    HBase中通过RowKey和Column确定的一个存储单元称为cell。cell中的数据是没有类型的，全部以字节数组的形式存储。每个cell都保存着同一份数据的多个版本，版本通过通过时间戳来索引。时间戳的类型是64位整型。时间戳可以有HBase(在数据写入时自动)赋值。此时的时间戳是精确到毫秒的系统当前时间。时间戳也可以由客户显示赋值。如果因果那个程序要避免数据版本冲突，必须自己生成具有唯一性的时间戳。每个cell中，不同版本的数据按照时间倒序排序，最新的数据排在最前面

    为了避免数据存在过多版本造成的管理负担，HBase提供两种数据版本回收方式

    • 保存数据的最后N个版本
    • 保存最近一段时间内的版本

  4. 命名空间

    命名空间的结构

    HBase学习笔记一

    • Table:所有的表都是命名空间的成员，表必须属于某个命名空间，如果没有指定，则表在默认的命令空间中
    • RegionServer Group:一个命名空间包含默认的RegionServer Group
    • Permission:权限，命名空间允许自定义访问控制列表 （创建表，读表，删除，更新等）
    • Quota:限额，强制一个命名空间能包含的region的数量

There's no losing only learning

There's no falture only opportunities

There's no problem only solutions

相关文章