hdfs性能调优(cloudera)

时间:2020-12-15 10:29:16

参照官方文档:http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_yarn_tuning.html
1)对YARN调优:

我们实际是2颗CPU,一共24核心数,上面的服务用掉了5核,还剩下24-5=19核心

我们实际的64G的内存,64-1-1-(64*20%)=49G

修改YARN的配置页面,按照上面的算法修改配置参数:

修改参数过后需要重启集群

2)对系统优化:
File System:
Linux文件系统中为了保证root能够登录到操作系统中,需要保留一定的磁盘空间,默认这个值设置为5%。但是当前磁盘空间都是TB级别的,因此保留5%就会造成一大部分空间的浪费,对于一块4TB来说就是200G。

下面的命令可以将保留磁盘空间的容量设置成1%:

tune2fs –m 1 /dev/sdaX
12块硬盘增加noatime的参数:

/dev/sda1   /data1  ext4    defaults,noatime    0   0

修改完设置后需要重新挂载文件系统,不需要重启。

mount -o remount /dev/sdX1

原文:https://blog.csdn.net/jdzms23/article/details/44495167