随着DT 时代的来临,物联网(Internet of Thing, IoT)成为当今最具发展潜力的技术潮流之一,它通过信息传感设备把所有物品与互联网融合,互相沟通或交换信息,构成了新一代信息技术的重要组成部分,其目的是期望能更加便利地满足人们日常生活需要。物联网已经构成了新一代信息技术的重要组成部分,成为DT时代的重要发展阶段。
根据Gartner的报告显示,2017年全球物联网领域有超过80多亿个联网设备,预计至2020年全球联网的设备规模量会更大。物联网领域正呈现出一种快速增长态势,相应的各类智能硬件产业规模也不断提升。
目前物联网所覆盖的领域众多,包括智能运输、智能建筑、数字化医疗、工业自动化、石化、金融、移动POS、供应链、气象、电力、农业、林业、环境保护、公共安全、军事、遥感探测、煤炭、水务、消防等领域。
物联网的数据特征:
那么究竟如何来选择合适的数据库来满足海量数据的实时性要求呢?
下面通过一张图来简单回顾下各种数据库的特点。
从这张对比图不难看出这些基于存储的数据库各有其自己的优势和缺陷,Hbase 属于 NO SQL ,虽然适合于高并发查询,但它不直接支持SQL 查询,HIVE 数据库 更适合批处理大量数据,无法实现联机事务处理(OLTP),MYSQL 属于传统的 RDS, 其系统的扩展性较差,不适合海量数据大批量处理,Redis 属于内存数据库系统, 过分依赖于内存计算, 系统的扩展性和安全性较差。
那么是否有一款数据库既能支持海量数据离线分析处理 (OLAP),又能支持在线实时访问(OLTP?答案是确定的,存在,就是HTAP数据库。 它能很好地解决这些问题,并且帮助实现实时计算数据快速落地,并很好地对接前端进行的可视化展示 ,提供业务人员决策分析等。
下面就来聊聊在当今DT 时代背景下, HTAP 数据库究竟是一款什么样的数据库?
由Gartner提出了HTAP数据库概念,Hybrid transaction/analytical processing (HTAP),WIKI百科上这样定义:
链接地址:
https://en.wikipedia.org/wiki/Hybrid_transactional/analytical_processing_(HTAP)
HTAP数据库需要同时支持OLTP和OLAP场景。基于创新的计算存储框架,也就是在一份数据上保证事务的同时支持实时分析,省去了费时的ETL过程。传统的IP架构有一些事务处理需要联机分析和分开处理,HTAP数据库的出现则是能够在一份数据上同时支撑业务系统运行和做OLAP场景,这样也能够避免在传统架构中,在线与离线数据库之间大量的数据交互。
针对物联网大数据应用,具有海量的传感器数据,要求实时更新和查询,对数据库的性能要求很高。使用HTAP数据库,能够快速获得数据库的读写性能,它具有OLTP关系数据库的多维度查询能力,以及OLAP数据库的复杂分析能力,期望能够快速的分析数据的价值,数据实时处理能提供更快的响应速度,从数据中挖掘有价值的信息。
天云大数据是国内较早涉足大数据领域的研究和实施的大数据解决方案国内厂商,凭借其多年来在大数据分布式计算集群的经验累积,及多家大型银行核心交易系统的实践验证,推出了拥有百万原生代码规模的HTAP数据库产品:Hubble(在wiki百科上可查询Hubble到与Alibaba\Oracle\SAP等公司并列作为HTAP数据库代表厂商),可以真正意义上实现混合交易分析处理。该数据库是既可支持联机事务处理(OLTP),又可支持联机分析处理(OLAP)的一款国产数据库。
Hubble数据库作为HTAP 数据库,具有大数据平台Hadoop 可扩展性,以足够的速度处理海量数据的能力,相信HUBBLE 数据库运用在物联网领域中,会是一个不错的选择, 并且在这一领域能处理日益增长的传感器数据, 为企业创造价值。