十八、Hadoop学记笔记————Hbase架构

时间:2022-03-14 16:02:56

Hbase结构图:

十八、Hadoop学记笔记————Hbase架构

Client,Zookeeper,Hmaster和HRegionServer相互交互协调,各个组件作用如下:

十八、Hadoop学记笔记————Hbase架构

十八、Hadoop学记笔记————Hbase架构

十八、Hadoop学记笔记————Hbase架构

十八、Hadoop学记笔记————Hbase架构

这几个组件在实际使用过程中操作如下所示:

十八、Hadoop学记笔记————Hbase架构

Region定位,先读取zookeeper中的文件,得到root表信息,然后得到meta表的信息,从而操作用户表,0.98之后hbase直接存储mate表,

十八、Hadoop学记笔记————Hbase架构

十八、Hadoop学记笔记————Hbase架构

十八、Hadoop学记笔记————Hbase架构

后面详解一下Hbase的数据存储:

十八、Hadoop学记笔记————Hbase架构

数据进入Hbase之后,先通过zookeeper找到对用的regionserver,如上述region server定位图所示,下图省略了该过程,delete操作是暂时给数据

打上标签,后续compact的时候才会删除

十八、Hadoop学记笔记————Hbase架构

十八、Hadoop学记笔记————Hbase架构

十八、Hadoop学记笔记————Hbase架构

回顾存储过程:

十八、Hadoop学记笔记————Hbase架构

十八、Hadoop学记笔记————Hbase架构

十八、Hadoop学记笔记————Hbase架构

十八、Hadoop学记笔记————Hbase架构

十八、Hadoop学记笔记————Hbase架构

十八、Hadoop学记笔记————Hbase架构

Hlog用于数据恢复,集群挂掉可恢复数据

十八、Hadoop学记笔记————Hbase架构

十八、Hadoop学记笔记————Hbase架构

Hbase的内部表如下:

十八、Hadoop学记笔记————Hbase架构

十八、Hadoop学记笔记————Hbase架构

使用hbase的put指令的时候,数据还在内存当中,没有进入到hdfs,当flush之后才会写入hfds,每一条数据都会写入一次,

当执行compact的时候就会合并

十八、Hadoop学记笔记————Hbase架构