cloudera manager生产集群升级流程

时间:2022-01-09 15:12:48

1.rpm包和必要的依赖文件按照目录结构存入Linux

  下载网址:e-primary.cloudera.com/cm5/redhat/6/x86_64/cm/5.9.0/

 node0 中全部。

 node1-3中只存入agent和daemons。

将parcel传入Linux中的/opt/cloudera/parcel-repo,更改权限755。

2.备份

http://www.cloudera.com/content/www/zh-CN/documentation/enterprise/5-3-x/topics/cm_ag_db_for_cm_upgrades.html  升级数据库注意事项

http://www.cloudera.com/content/www/zh-CN/documentation/enterprise/5-3-x/topics/cm_ag_backup_dbs.html#xd_583c10bfdbd326ba--6eed2fb8-14349d04bee--7e98备份数据库

 

3.停止集群,停止服务。

停止 Cloudera Manager Serve

sudo service cloudera-scm-server stop

停止内嵌数据库

sudo service cloudera-scm-server-db stop

停止所有节点上的agent

sudo service cloudera-scm-agent stop

 

4.升级各个主机上的CM。使用命令:

 sudo yum clean all

  sudoyum --nogpgcheck localupdate cloudera-scm-*

         法二:另一种方式【需要实现更改本地repo源】--/etc/yum.repo.d/cloudera-manager.repo)

         sudo yum clean all

         sudo yum upgrade cloudera-*

 

5.检查rpm包安装的情况。

rpm -qa | grep cloudera

【如果使用的是嵌入式数据库和插件的附加软件包,您可能还会看到一个 cloudera-manager-server-db-2 条目,具体取决于服务器主机中之前安装的软件。如果安装了 cloudera-manager-server-db-2 软件包,且您不打算使用嵌入式数据库,您可以删除此软件包。】

6. 启动http:    service httpd start

启动 Cloudera Manager Server

如果正在使用 Cloudera Manager 的嵌入式 PostgreSQL 数据库,请启动该数据库:

 sudo service cloudera-scm-server-db start

启动 Cloudera Manager Server:

 sudo service cloudera-scm-server start

7.启动node0agent

 sudo service cloudera-scm-agent start

8.打开Cloudera Manager Admin Console,进行4台主机的升级。

选择:重新运行主机升级向导

 

Agent升级:

 

9.升级CDH。

 http://www.cloudera.com/content/www/zh-CN/documentation/enterprise/5-3-x/topics/cm_mc_upgrade_to_cdh52_using_parcels.html

 

 

 

 

附加:

备份:

1.内置数据库

cd /etc/cloudera-scm-server

内嵌数据库postgresql的配置文件位置:

 /var/lib/cloudera-scm-server-db

2.Namenode备份

3.Hbase备份(可以不用备份,其元数据存在于hdfs中):

         hbaseshell

         list_snapshots  列出快照

snapshot 'myTable', 'myTableSnapshot-122112'   建立快照
hadoop fs -ls /hbase/.hbase-snapshot    列出快照
备份快照:
    hadoop fs -cp <src><dst>

(权限)

hadoop fs -chmod 777 /BlogSnap

4.mysql备份。