1、配置文件创建及导出
1.1 src/resources/application.properties创建
1.2 将application.properties文件移到服务器或者本地。
2、文件配置读取类编写
示例如下:
import java.util.Properties
object PropsApp {
//TODO 配置文件的加载
val path = "F:\\config\\application.properties"
// val path = "application.properties"
val props = new Properties()
import java.io.FileInputStream
props.load(new FileInputStream(path))
//读取文件内容
val brokerList = props.getProperty("broker_list")
val groupId = props.getProperty("group_id")
val groupName = props.getProperty("group_name")
}
3、程序启动加载外部配置
示例如下:
CDH版本为spark2-submit,其他直接spark-submit即可,看自己环境情况*切换。
spark2-submit
--class 类名路径
--master yarn-cluster
--driver-memory 2G
--executor-memory 5G
--num-executors 10
--files 配置文件路径
/home/hadoop/SparkStreaming-0.0.1-SNAPSHOT.jar