如果采用Cloudera官方建议的安装方式,即Cloudera Manager使用rpm的方式安装,CDH使用Parcel方式安装,会在操作系统内产生多种多样的目录。CDH安装主要使用的目录包括/etc,/usr,/var,/tmp,/opt共5个目录,不同的目录下保存不同的子文件夹以及多种多样不同的文件内容主要涉及比如安装包,配置文件,执行命令脚本等。本文Fayson会详细讲解各个目录的作用以及建议规划的大小。
- 测试环境:
1.操作系统:Redhat7.4
2.CM和CDH版本为5.15.0
3.使用root用户进行操作
1
/etc
1.CM与Agent
- 包含子目录:
/etc/cloudera-scm-server
/etc/cloudera-scm-agent
- 目录说明
Cloudera Manager和Agent的配置目录,比如Manager的数据库文件配置,Agent连接Manager的相关配置项目。
- 子目录大小(参考)
16KB
28KB
- 目录大小(参考,子目录大小总和)
44KB
- 备注
/etc/cloudera-scm-server只有CM节点才有,/etc/cloudera-scm-agent所有CDH集群内的节点都会有
2.Hadoop组件配置目录
- 包含子目录及目录大小:
- 目录说明
所有Hadoop相关服务的客户端配置,比如:hadoop服务的core-site.xml、hdfs-site.xml,Hive服务的hive-site.xml等。
- 目录大小(参考,子目录大小总和)
600KB
- 备注
所有Hadoop相关角色的节点都会存在这些目录,对于Gateway节点需要部署了相关服务客户端配置的才有存在。
3.Hadoop组件配置及命令软连目录
- 目录说明
所有Hadoop相关命令的软链比如:
/etc/alternatives/hadoop -> /opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/bin/hadoop
- 目录大小
348KB
- 备注
所有Hadoop相关角色的节点都会存在这些目录,对于Gateway节点需要部署了相关服务客户端配置的才有存在。
2
/usr
1./usr/share/cmf/目录
- 目录说明
主程序安装目录,包含Manager管理相关,Navigator等
- 目录大小
951MB
- 备注
所有CDH节点包含
2./usr/lib64/cmf/目录
- 目录说明
Agent相关目录包括依赖,程序代码,环境变量等。
- 目录大小
87MB
- 备注
所有CDH节点包含
3./usr/bin目录
- 目录说明
所有Hadoop相关命令的软链,它们会再软链到/etc/alternatives中去,比如:
/etc/bin/hadoop -> /etc/alternatives/hadoop
- 目录大小
<1MB
- 备注
所有Hadoop相关角色的节点都会存在这些目录,对于Gateway节点需要部署了相关服务客户端配置的才有存在。
3
/var
3.1
/var/lib
1.Cloudera Manager服务包含子目录及目录大小
2.Hadoop服务相关数据目录
3.2
/var/run、/var/cache/yum
3.3
/var/log
1.Cloudera Manager相关服务包含子目录及目录大小
2.Hadoop相关服务运行日志目录
在这里我为大家介绍一个大数据的交流群,615997810 大家有兴趣的话可以加进来,每周每晚都有大数据基础与项目实战的课程更新,也可以和大家一起相互学习交流讨论,群里的这些我整理了一些大数据资料可以领取(Hadoop,Spark,flink,hbase,es等等,更有源码级的视频讲解资料),可以加群直接找群主免费领取哦。
3.4
Zookeeper与MySQL
4
/opt
5
/tmp