HBASE概念:
HBASE是一个分布式架构的数据库,通过对数据进行多层的分块打散储存。从而改写传统数据库的储存能力和读取速度。
HBASE的集群服务器:
HBASE的集群主要分为Zookeeper集群,Master集群,RegionSever集群。
Zookeeper集群:储存Table的Region地址,管理Master和RegionSever服务器间的操作。
Master集群:进行建表,删表工作和分配Region(管理负载均衡,Split时,重新分配Region)
RegionSever集群:储存真正数据的地方
数据储存模型:
分块储存概念:
1.Hbase的Table会按行进行Region的数据块划分。
2.Region数据块会被分配给集群的各个(Regionsever)机器上面去。
3.每个Regin块会再进行Store块划分,每个Store块拥有一个MenStore和0至多个StoreFile
Region块的信息储存:
HBase中有两张记录Region信息所在位置的特殊的Table,-ROOT-和.META.
.META.:记录了各个用户表的Region信息,.META.本身可以有多个regoin,放在RegionSever中
-ROOT-:记录了.META.表的Region信息,-ROOT-本身只有一个region,放在RegionSever中
Zookeeper中记录了-ROOT-表的location
Store块中储存的信息:
RowKey:是Byte array,是表中每条记录的“主键”,方便快速查找,Rowkey的设计非常重要。
Column Family:列族,拥有一个名称(string),包含一个或者多个相关列
Column:属于某一个columnfamily,familyName:columnName,每条记录可动态添加
Version Number:类型为Long,默认值是系统时间戳,可由用户自定义
Value(Cell):Byte array
数据流程:
创建、修改表:
1.Client向Zookeeper发送创建表请求,Zookeeper记录日志后传递给HMaster。
2.HMaster返回可以写入RegionSever给Zookeeper
3.Zookeeper把创建的表和Regionsever的关系通过ROOT表和META表记录下来
4.以后进行表操作则不用经过HMaster,直接从Zookeeper中获取对应的RegionSever地址
操作表:
1.Client向Zookeeper发送操作数据请求
2.Zookeeper检查缓存中是否有目标表与RegionSever的关系
3.从Zookeeper中抽取ROOT表和META表读取目标表与RegionSever的关系
4.到对应的RegionSever中进行Hlog日志记录并找到对应的StoreFile进行数据操作
5.把最后的Hlog和StoreFile储存到HDFS中
参考资料:
http://www.cnblogs.com/JemBai/archive/2012/07/21/2602432.html
http://www.uml.org.cn/sjjm/201212141.asp#6
http://www.csdn.net/article/2014-02-17/2818431-HDFS+MapReduce+Hbase
http://blog.csdn.net/woshiwanxin102213/article/details/17584043