【原创】大叔经验分享(47)yarn开启日志归集

时间:2021-03-06 04:28:19

yarn开启日志归集功能,除了配置之外

yarn.log-aggregation-enable=true

还要检查/tmp/logs目录是否存在以及权限,尤其是在开启kerberos之后,有些目录可能不能自动创建成功,需要手工创建:

$ hdfs dfs -mkdir /tmp
$ hdfs dfs -chmod 777 /tmp

每个应用的hdfs日志目录:

/tmp/logs/$user/logs/$applicationId