文件名称：FusionInsightHD华为大数据平台.pdf
文件大小：1.26MB
文件格式：PDF
更新时间：2022-12-24 11:06:42
文档资料
FusionInsightHD华为⼤数据平台 华为FusionInsight HD是⼀个分布式数据处理系统，对外提供⼤容量的数据存储、分析查询和实时流式数据处 理分析能⼒。 安全 架构安全、认证安全、⽂件系统层加密 可靠 所有管理节点组件均实现HA（High Availability） 集群异地灾备 数据备份恢复 易⽤ 统⼀运维管理 易集成 易开发 系统架构 Manager 作为运维系统，为FusionInsight HD提供⾼可靠、安全、容错、易⽤的集群管理能⼒，⽀持⼤规模集群的安装部署、监控、告警、⽤ 户管理、权限管理、审计、服务管理、健康检查、问题定位、升级和补丁等。 FusionInsight Manager由OMS和OMA组成： OMS：操作维护系统的管理节点，OMS⼀般有两个，互为主备。 OMA：操作维护系统中的被管理节点，⼀般有多个。 Hue Hue提供了FusionInsight HD应⽤的图形化⽤户界⾯。Hue⽀持展⽰多种组件，⽬前⽀持HDFS、Hive、YARN/MapReduce、 Oozie、Solr、ZooKeeper以及Spark。 Hue是建⽴在Django Python的Web框架上的Web应⽤程序，采⽤了MTV(模型M-模板T-视图V)的软件设计模式。（Django Python 是开放源代码的Web应⽤框架。）Hue由"Supervisor Process"和"WebServer"构成。"Supervisor Process"是Hue的核⼼ 进程，负责应⽤进程管理。"Supervisor Process"和"WebServer"通过"THRIFT/REST"接⼝与WebServer上的应⽤进⾏交 互，如图所⽰。 Loader 实现FusionInsight HD与关系型数据库、⽂件系统之间交换数据和⽂件的数据加载⼯具；同时也可以将数据从关系型数据库或者⽂件 服务器导⼊到FusionInsight HD的HDFS/HBase中，或者反过来从HDFS/HBase导出到关系型数据库或者⽂件服务器中。同时提供 REST API接⼝，供第三⽅调度平台调⽤。 Loader模型主要由Loader Client和Loader Server组成： - Flume ⼀个分布式、可靠和⾼可⽤的海量⽇志聚合系统，⽀持在系统中定制各类数据发送⽅，⽤于收集数据；同时，Flume提供对数据进⾏简 单处理，并写⼊各种数据接受⽅（可定制）的能⼒。 - FTP-Server FTP-Server是⼀个纯Java的、基于现有开放的FTP协议的FTP服务。FTP-Server⽀持FTP、FTPS协议，每个服务都⽀持PORT、 PASSIVE数据通信协议。⽤户或业务组件可通过通⽤的FTP客户端、传输协议提供对HDFS⽂件系统进⾏基本的操作，例如：⽂件上 传、⽂件下载、⽬录查看、⽬录创建、⽬录删除、⽂件权限修改等。 FTP-Server服务由多个FTP-Server进程或FTPS-Server进程组成。 FTP-Server服务可以部署在多个节点上，每个节点上只有⼀个FTP-Server实例，每个实例只有⼀个FTP Server进程。 Hive 建⽴在Hadoop基础上的开源的数据仓库，提供⼤数据平台批处理计算能⼒，能够对结构化/半结构化数据进⾏批量分析汇总完成数据 计算。提供类似SQL的Hive Query Language语⾔操作结构化数据存储服务和基本的数据分析服务。其基本原理是将HQL语⾔⾃动转 换成MapReduce任务，从⽽完成对Hadoop集群中存储的海量数据进⾏查询和分析。 Hive为单实例的服务进程，提供服务的原理是将HQL编译解析成相应的MapReduce或者HDFS任务，下图为Hive的结构概图。 Mapreduce 提供快速并⾏处理⼤量数据的能⼒，是⼀种分布式数据处理模式和执⾏环境。MapReduce是⼀种简化并⾏计算的编程模型，名字源于 该模型中的两项核⼼操作：Map和Reduce。Map将⼀个作业分解成为多个任务，Reduce将分解后多个任务处理的结果汇总起来，得 出最终的分析结果。 如图所⽰，MapReduce通过实现YARN的Client和ApplicationMaster接⼝集成到YARN中，利⽤YARN申请计算所需资源。 Storm 提供分布式、⾼性能、⾼可靠、容错的实时计算平台，可以对海量数据进⾏实时处理。CQL（Continuous Query Language）提供 的类SQL流处理语⾔，可以快速进⾏业务开发，缩短业务上线时间。 Spark 基于内存进⾏计算的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了⽐MapReduce⾼10到 100倍的计算能⼒。Spa