由于实际环境较为复杂,从Spark官方下载二进制安装包可能不具有相关功能或不支持指定的软件版本,这就需要我们根据实际情况编译Spark源代码,生成所需要的部署包。
Spark可以通过Maven和SBT两种方式进行编译,再通过make-distribution.sh脚本生成部署包
Maven方式编译需要Maven工具,而SBT方式编译需要安装Git工具,两种方式均需要在联网下下载依赖包。
由于实际环境较为复杂,从Spark官方下载二进制安装包可能不具有相关功能或不支持指定的软件版本,这就需要我们根据实际情况编译Spark源代码,生成所需要的部署包。
Spark可以通过Maven和SBT两种方式进行编译,再通过make-distribution.sh脚本生成部署包
Maven方式编译需要Maven工具,而SBT方式编译需要安装Git工具,两种方式均需要在联网下下载依赖包。