利用mvn -Pyarn -Dhadoop.version=2.4.1 -Dyarn.version=2.4.1 -DskipTests clean package编译spark的时候,maven在编译core模块的时候会异常退出,关键信息为:PermGen space。其原因是maven默认的堆内存设置太小,导致内存溢出。
解决办法:修改maven的配置文件
[root@chen_liang5 bin]# pwd
/home/hadoop/Downloads/apache-maven-3.3.9/bin
[root@chen_liang5 bin]# vim mvn
增加以下配置:MAVEN_OPTS="$MAVEN_OPTS -Xms512m -Xmx512m -XX:MaxPermSize=256m -XX:ReservedCodeCacheSize=64m"
重新编译成功