HBase 数据读写过程描述
我们熟悉的在 Hadoop 使用的文件格式有许多种，例如：
Avro：用于 HDFS 数据序序列化与
Parquet：常见于 Hive 数据文件保存在 HDFS中
HFile
HFile 是 HBase 使用的一种柱状存储文件，非常适合随机和实时读写。 
HFile 文件的头部记载 FileInfo 和 Meta 这是元数据。在启动 RegionServer 后每一个RegionServer 节点会将本地 DataNode 保存的 HFile 文件中的 FileInfo 和 Meta 加载到自身 JVM 的 memstore （元数据内存空间）中。
read：对数据的读则由 memstore 检索存储的元数据，将 Data 块加载到 RegionServer JVM 中的 Data 内存空间。现在常用的 HFile v2 只需要将需要的元数据信息加载到内存中即可
write：每次写入都会在 memstore 中添加信息，而不是写入 HFile 中，只有 memstore 存储空间不够时，元数据信息才会被刷回 HFile 中。
HFile 自身已经对 HBase 中存储数据进行压缩。
参考：http://blog.cloudera.com/blog/2012/06/hbase-io-hfile-input-output/
相关文章
- HBase 文件读写过程描述
- 7. Buffer_包描述文件_npm常用指令_fs文件读写_模块化require的规则
- 嵌入式学习37-TCP并发模型-有限 2.IO模型: 1.阻塞IO: 没有数据到来时,可以让任务挂起 节省CPU资源开销,提高系统效率 2.非阻塞IO: 程序未接收到数据时一直执行 效率很低 3.异步IO 只能绑定一个文件描述符用来 读取数据 4.多路复用IO select 1.select监听的集合中的文件描述符有 上限限制 2.select有 内核层 向 用户层数据空间 拷贝 的过程,占用系统资源开销 3.select必须 轮询检测 产生 事件 的文件描述符 4.select 只能工作 在 水平触发 模式(低速模式) 无法工作 在 边沿触发 模式(高速模式) poll （监听的集合中的文件描述符有 没有上限限制） 1.poll有 内核层 向 用户层 数据空间 拷贝 的过程,占用系统资源开销 2.poll必须 轮询检测 产生 事件 的文件描述符 3.poll 只能工作在水平触发模式(低速模式) 与select相同 无法工作在边沿触发(高速模式) 3.函数接口: 1.select int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout); 功能: select 监听 文件描述符集合 中 是否 有文件描述编程 ready状态 select 监听 文件描述符集合 中 ，若有状态 ， 将没有ready状态的T除 若无状态，将阻塞继续等待 参数: nfds: 最大文件描述符的值 +1 readfds: 读 文件描述符集合 writefds: 写 文件描述符集合 exceptfds: 其余 文件描述符集合 timeout: 等待的时长 NULL 一直等待（超时处理） 返回值: 成功 返回 文件描述符集合中 的 文件描述符个数 失败 返回 -1 void FD_CLR (int fd, fd_set *set); 功能: 将文件描述符 fd 从集合中清除
- HDFS 文件读写过程
- Ext3文件系统读写过程分析
- HDFS文件读写过程
- C++读写ini配置文件实现过程详解
- iOS 超级签名之描述文件的实现过程
- HBase一次客户端读写异常解读分析与优化全过程（干货）
- 基于Python3读写INI配置文件过程解析