HBase基础知识摘要

时间：2021-03-26 17:05:55

HBASE

列式存储，设计思想参考BigTable

文档：http://hbase.apache.org/book.html

  • hive适合数据分析，离线任务
  • hbase大数据实时查询
  • 避免显式锁，提供行原子性操作
  • 每行数据只有一台服务器服务，因此有强一致性

存储层使用HDFS

  • 按照CF存储，按照Row-key进行关联

Master\Region Server

HBase基础知识摘要

高可用 容灾

  • Master协调Region Server,负载均衡，分配Region给Region Server
  • Region Server包括多个Region。Client直接连接Region Server
  • Zookeeper 高可用，负责Region和Region Server注册(依赖列表特性)


    客户端有上亿条数据时使用

    - rowKey设计很重要，选一个rowKey，使你的数据均匀的分布在集群中

    - 客户端频繁写一张表时，随机RowKey性能更好

    - 客户端需要频繁读一张表时，有序RowKey性能更好

    - 时间连续的数据，有序RowKey更好

    - Column Family一般不会超过2-3个CF，一般一个就够了

      ，它聚合同一特性的数据

安装

windows环境需要cgyWin，太麻烦了，cgywin挺大的，下载老慢。

  • download stabe hbase version

  • 修改conf/hbase-env.cmd/sh的JAVA_HOME配置

  • 编辑conf/hbase-site.xml配置(本机文件系统，非hdfs系统)

    hbase.rootdir
    file:///home/testuser/hbase

    hbase.zookeeper.property.dataDir
    /home/testuser/zookeeper

  • 启动bin/start-hbase.cmd/sh


    create a table:

      create 'test','cf'

    list information:

      list 'test'

    put data:

      put 'test','row1','cf:a','value1'

    scan table

      scan 'test'

    get a row:

      get 'test','row1'

版本相关

Hbase 2.0仅支持JDK 8, Hbase 1.x不再支持jAVA 6

Habase可能会同一时刻打开大量文件，ulimit -n 检查值，使用ulimit -u 确保系统至少配置为10，240

通过预写日志WAL文件来恢复未flush到磁盘的数据，建议配置足够的WAL文件数，使足够多的数据可以被存储

自动切分HRegion

Namespace

Namespace可以用来管理一组table，功能上类似于RDBS的数据库

Column Family

有相同前缀的列，用冒号分隔，如course:history\course:math都是course列族的

Data Model Operations

Get



		public static final byte[] CF = "cf".getBytes();

		public static final byte[] ATTR = "attr".getBytes();

		...

		Get get = new Get(Bytes.toBytes("row1"));

		Result r = table.get(get);

		byte[] b = r.getValue(CF, ATTR);

查询带Version的GET



	public static final byte[] CF = "cf".getBytes();

	public static final byte[] ATTR = "attr".getBytes();

	...

	Get get = new Get(Bytes.toBytes("row1"));

	get.setMaxVersions(3);  // will return last 3 versions of row

	Result r = table.get(get);

	byte[] b = r.getValue(CF, ATTR);  // returns current version of value

	List<KeyValue> kv = r.getColumn(CF, ATTR);  // returns all versions of this column

获取某一行Row

Put

add new rows或者更新已存在的row，有点像upsert



 	隐式version

	public static final byte[] CF = "cf".getBytes();

	public static final byte[] ATTR = "attr".getBytes();

	...

	Put put = new Put(Bytes.toBytes(row));

	put.add(CF, ATTR, Bytes.toBytes( data));

	table.put(put);	

	显式version

	public static final byte[] CF = "cf".getBytes();

	public static final byte[] ATTR = "attr".getBytes();

	...

	Put put = new Put( Bytes.toBytes(row));

	long explicitTimeInMs = 555;  // just an example

	put.add(CF, ATTR, explicitTimeInMs, Bytes.toBytes(data));

	table.put(put);

Scans

查询多行row



		//rowKey的规则可以是复合的，相对于rdbms，可以是几个字段合在一起

		byte[] startRow = Bytes.add(规则1.getBytes(), 规则2.getBytes(), Bytes.toBytes(startTime.getTime()));

 		Scan scan = new Scan();

		scan.setStartRow(startRow);

		scan.setStopRow(endRow);

		scan.addFamily(family);

		ResultScanner rs = table.getScanner(scan);

Delete

删除行，并不立即删除数据，而是记标记，等Master来整理时被处理

http://hadoop-hbase.blogspot.hk/2012/01/scanning-in-hbase.html

Versions

A {row, column, version} tuple exactly specifies a cell in HBase

row和column相同的数据可能有很多，但是他们的version一定不同

version维度的数据是逆序存储的，所以能更快的找到最新的一条数据

  • Hbase允许多次写操作的对象为同一version，只有最后的那次写可以被获取
  • 写数据时可以不按version的顺序进行写
  • api可以操作获取的versions个数，如Get.setMaxVersions()

Hbase number of column families

目前并不能很好的处理列族为2或3的情况，因此尽量保持只有1个列族，除非数据操作总是针对列的，也就是说查询一个列族或另一个列族，但不同时查询两个列族

原因：

  • 刷新、整理是在一个Region上的，一个列族在刷新时，相邻的列族也会被刷新，即使它们的数据量很少，所以多个列族会存在着很多无效I/O的问题
  • 当CFa有1百万条数据，CFb有10亿条数据时，CFa的数据会被分布在很多，很多的Region上，会导致CFa的查询非常低效

RowKey设计

  • 在Hbase中，rows是按字典顺序排序的，这样可以优化查询效率，因为相关的rows是挨着的。
  • 拙劣的设计会使Hbase读写存在热点问题，即绝大多数请求指向同一个node或少量的nodes，甚至导致这台region server上的其他region的操作受影响，因为服务器可能过载了（解决办法和ConcurrentHashMap的设计理念相似，分而治之，类似hashcode再rehash）

解决热点问题

  • salting 通过一定规则产生随机前缀，达到数据更易均匀分布
  • hashing
  • 逆序
  • 综合多个属性

相关文章