NameNode JVM配置详解
线上NameNode JVM如下
-Dhadoop.log.dir=/mnt/dfs/5/hdfs/logs -Dhadoop.log.file=hadoop.log -Dhadoop.home.dir=/home/hadoop/hdfs-2.7.3 -Dhadoop.id.str=root -Dhadoop.root.logger=INFO,console -Djava.library.path=/home/hadoop/hdfs-2.7.3/lib/native -Dhadoop.policy.file=hadoop-policy.xml -Dhadoop.log.dir=/mnt/dfs/5/hdfs/logs -Dhadoop.log.file=hadoop-root-namenode-hadoop278.lt.163.org.log -Dhadoop.root.logger=INFO,RFA -Dcom.netease.appname=NameNode -Dhadoop.security.logger=INFO,DRFAS -Dhdfs.audit.logger=INFO,RFAAUDIT
-Dproc_namenode -Djava.net.preferIPv4Stack=true -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -XX:-DisableExplicitGC -Xloggc:/home/hadoop/yarn/gclog/namenode.gc.log.2018-01-24 -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=3 -XX:GCLogFileSize=512M -server -Xmx5120m -Xmx350g -Xms350g -Xmn30g -XX:SurvivorRatio=8 -Xss256k -XX:PermSize=128m -XX:MaxPermSize=128m -XX:+UseParNewGC -XX:MaxTenuringThreshold=15 -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:+UseCMSCompactAtFullCollection -XX:+CMSClassUnloadingEnabled -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=75
-XX:+UnlockDiagnosticVMOptions -XX:ParGCCardsPerStrideChunk=4096 -XX:-UseBiasedLocking
-XX:+PrintTenuringDistribution org.apache.hadoop.hdfs.server.namenode.NameNode
[TODO] JVM配置详解
jstat 命令学习
jstat -class 34262
Loaded Bytes Unloaded Bytes Time
540 1091.7 0 0.0 0.12
Loaded:加载class的数量
Bytes：所占用空间大小
Unloaded：未加载数量
Bytes:未加载占用空间
Time：时间
➜ ~ jstat -compiler 34262
Compiled Failed Invalid Time FailedType FailedMethod
21 0 0 0.02 0
Compiled：编译数量。
Failed：失败数量
Invalid：不可用数量
Time：时间
FailedType：失败类型
FailedMethod：失败的方法
➜ ~ jstat -gcutil 34262
S0 S1 E O M CCS YGC YGCT FGC FGCT GCT
0.00 0.00 0.00 97.91 68.00 71.24 308653 158.470 62460 272.840 431.310
S0：幸存1区当前使用比例
S1：幸存2区当前使用比例
E：伊甸园区使用比例
O：老年代使用比例
M：元数据区使用比例
CCS：压缩使用比例
YGC：年轻代垃圾回收次数
FGC：老年代垃圾回收次数
FGCT：老年代垃圾回收消耗时间
➜ ~ jstat -gc 34262
S0C S1C S0U S1U EC EU OC OU MC MU CCSC CCSU YGC YGCT FGC FGCT GCT
1536.0 1536.0 0.0 0.0 12800.0 11973.2 512.0 501.3 4864.0 3307.3 512.0 364.7 52750 31.692 52748 230.775 262.467
S0C：第一个幸存区的大小
S1C：第二个幸存区的大小
S0U：第一个幸存区的使用大小
S1U：第二个幸存区的使用大小
EC：伊甸园区的大小
EU：伊甸园区的使用大小
OC：老年代大小
OU：老年代使用大小
MC：方法区大小
MU：方法区使用大小
CCSC:压缩类空间大小
CCSU:压缩类空间使用大小
YGC：年轻代垃圾回收次数
YGCT：年轻代垃圾回收消耗时间
FGC：老年代垃圾回收次数
FGCT：老年代垃圾回收消耗时间
GCT：垃圾回收消耗总时间
➜ ~ jstat -gcnew 34262
S0C S1C S0U S1U TT MTT DSS EC EU YGC YGCT
1536.0 1536.0 0.0 0.0 7 15 1536.0 12800.0 2048.0 58822 35.288
S0C：第一个幸存区大小
S1C：第二个幸存区的大小
S0U：第一个幸存区的使用大小
S1U：第二个幸存区的使用大小
TT:对象在新生代存活的次数
MTT:对象在新生代存活的最大次数
DSS:期望的幸存区大小
EC：伊甸园区的大小
EU：伊甸园区的使用大小
YGC：年轻代垃圾回收次数
YGCT：年轻代垃圾回收消耗时间
➜ ~ jstat -gcold 34262
MC MU CCSC CCSU OC OU YGC FGC FGCT GCT
4864.0 3307.6 512.0 364.7 512.0 501.3 217997 62460 272.840 386.883
MC：方法区大小
MU：方法区使用大小
CCSC:压缩类空间大小
CCSU:压缩类空间使用大小
OC：老年代大小
OU：老年代使用大小
YGC：年轻代垃圾回收次数
FGC：老年代垃圾回收次数
FGCT：老年代垃圾回收消耗时间
GCT：垃圾回收消耗总时间
➜ ~ jstat -gccapacity 34262
NGCMN NGCMX NGC S0C S1C EC OGCMN OGCMX OGC OC MCMN MCMX MC CCSMN CCSMX CCSC YGC FGC
15872.0 15872.0 15872.0 512.0 512.0 14848.0 512.0 512.0 512.0 512.0 0.0 1056768.0 4864.0 0.0 1048576.0 512.0 146536 62460
NGCMN：新生代最小容量
NGCMX：新生代最大容量
NGC：当前新生代容量
S0C：第一个幸存区大小
S1C：第二个幸存区的大小
EC：伊甸园区的大小
OGCMN：老年代最小容量
OGCMX：老年代最大容量
OGC：当前老年代大小
OC:当前老年代大小
MCMN:最小元数据容量
MCMX：最大元数据容量
MC：当前元数据空间大小
CCSMN：最小压缩类空间大小
CCSMX：最大压缩类空间大小
CCSC：当前压缩类空间大小
YGC：年轻代gc次数
FGC：老年代GC次数
➜ ~ jstat -gcnewcapacity 34262
NGCMN NGCMX NGC S0CMX S0C S1CMX S1C ECMX EC YGC FGC
15872.0 15872.0 15872.0 5120.0 512.0 5120.0 512.0 14848.0 14848.0 199312 62460
NGCMN：新生代最小容量
NGCMX：新生代最大容量
NGC：当前新生代容量
S0CMX：最大幸存1区大小
S0C：当前幸存1区大小
S1CMX：最大幸存2区大小
S1C：当前幸存2区大小
ECMX：最大伊甸园区大小
EC：当前伊甸园区大小
YGC：年轻代垃圾回收次数
FGC：老年代回收次数
➜ ~ jstat -gcoldcapacity 34262
OGCMN OGCMX OGC OC YGC FGC FGCT GCT
512.0 512.0 512.0 512.0 261210 62460 272.840 408.160
OGCMN：老年代最小容量
OGCMX：老年代最大容量
OGC：当前老年代大小
OC：老年代大小
YGC：年轻代垃圾回收次数
FGC：老年代垃圾回收次数
FGCT：老年代垃圾回收消耗时间
GCT：垃圾回收消耗总时间
➜ ~ jstat -gcmetacapacity 34262
MCMN MCMX MC CCSMN CCSMX CCSC YGC FGC FGCT GCT
0.0 1056768.0 4864.0 0.0 1048576.0 512.0 277965 62460 272.840 416.401
MCMN: 最小元数据容量
MCMX：最大元数据容量
MC：当前元数据空间大小
CCSMN：最小压缩类空间大小
CCSMX：最大压缩类空间大小
CCSC：当前压缩类空间大小
YGC：年轻代垃圾回收次数
FGC：老年代垃圾回收次数
FGCT：老年代垃圾回收消耗时间
GCT：垃圾回收消耗总时间
jmap -heap 123
-heap:format=b
-histo
