cloudera learning1:cloudera简介及安装

时间:2021-07-25 06:04:55

cloudera分为两个部分:CDH和CM。CDH是Cloudera Distribution Hadoop的简称,顾名思义,就是cloudera公司发布的Hadoop版本,封装了Apache Hadoop,提供Hadoop所有的服务,包括HDFS,YARN,MapReduce以及各种相关的components:HBase, Hive, ZooKeeper,Kafka等。CM是cloudera manager的简称,是CDH的管理平台,主要包括CM server, CM agent。通过CM可以对CDH进行配置,监测,报警,log查看,动态添加删除各种服务等。

cloudera有两种可安装版本:

cloudera express(免费版):包含CDH和CM,CM支持端到端Hadoop admin以及部署,管理和监控cluster。

cloudera Enterprise (企业版) : 企业版又分为两种,一种为六十天免费试用版,试用期结束后如果没有license,自动降为express版本。另一种即为需要license的付费版。企业版除了包括express版的所有功能外,还额外包含Configuration历史记录及回退,滚动升级,LDAP集成,SNMP支持, disaster自动恢复等功能。

cloudera learning1:cloudera简介及安装

cloudera的安装,主要指CM的安装,在CM安装启动成功后,就可以通过CM server提供的界面,非常简单的安装CDH的各种组件了。

CM server安装在集群的外部,主要用于run service monitor,存储cluster配置信息,向agent分发各种配置命令和消息。

CM agent安装在cluster的每一台机器上,主要用于接收CM server的指令update本机,启动和停止本机的各种服务以及heartbeat status收集并发送给server。

cloudera learning1:cloudera简介及安装

CM的安装主要分为4个步骤:

1.在CM server打算安装的机器预先安装mysql作为database,也可以使用CM自带的PostgreSQL。安装cloudera提供的JDK,采用一般的JDK可能会有路径找不到的问题。

2.确保server能access cloudera software repositories.

3.安装Cloudera Manager server和Agent.

4.安装CDH Parcel提供的services:HDFS,YARN...

CM 5支持的OS种类及版本:

  • Red Hat Enterprise Linux/Centos 5.7, 6.4, 6.5, 6.6
  • Oracle Enterprise Linux 5.6, 6.4, 6.5, 6.6
  • SUSE Linux Enterprise Server 11 Service Pack 2 or later
  • Debian 7.0, 7.1
  • Ubuntu 12.04, 14.04

CM 5需要的基本library:

Supported JDKs
Oracle JDK 1.7.0_55, 1.7.0_67 or higher, 1.8.0_40 or higher

Supported databases:

  • MySQL 5.5 and 5.6
  • Oracle 11g Release 2
  • PostgreSQL 8.4, 9.2, and 9.3

cloudera manager有三种安装方式:

1.下载cloudera manager一键安装工具自动安装。这种方式比较适用于PoC。

2.通过cloudera manager packages或parcels手动进行安装。

3.通过cloudera manager tarball进行安装。

企业的产线环境,很可能是不能访问Internet的.通过把CDH package或parcel下载下来放到本地repository,配置cloudera manager使用本地repository进行安装。

安装包下载地址:

Package distribution:http://archive.cloudera.com/cm5/ 

Binary distribution:http://www.cloudera.com/downloads 

在安装了CM和CDH时,cloudera会默认创建以下一些账户来保证系统安全:

CM server创建cloudera-scm 帐户:在群集上创建和部署主机主体和 Keytab。

hdfs账户:运行NameNode、DataNode 和辅助节点。

mapred账户:运行JobTracker 和 TaskTrackers (MR1) 以及 Job History Server (YARN)。

yarn账户:运行ResourceManager 和 NodeManager (YARN)。

oozie:运行Oozie Server。

hue账户:运行Hue Server、Beeswax Server、Authorization Manager 和 Job Designer。