Scala加载外部配置文件

时间:2023-02-23 11:04:08

1、配置文件创建及导出

1.1    src/resources/application.properties创建

1.2   将application.properties文件移到服务器或者本地。


2、文件配置读取类编写

 示例如下:

import java.util.Properties

object PropsApp {

 //TODO 配置文件的加载

 val path = "F:\\config\\application.properties"

//  val path = "application.properties"

 val props = new Properties()

 import java.io.FileInputStream

 props.load(new FileInputStream(path))

 //读取文件内容

 val brokerList = props.getProperty("broker_list")

 val groupId = props.getProperty("group_id")

 val groupName = props.getProperty("group_name")

}

3、程序启动加载外部配置

 示例如下:

  CDH版本为spark2-submit,其他直接spark-submit即可,看自己环境情况*切换。 

spark2-submit  

--class 类名路径

--master yarn-cluster    

--driver-memory 2G    

--executor-memory 5G    

--num-executors 10    

--files 配置文件路径  

/home/hadoop/SparkStreaming-0.0.1-SNAPSHOT.jar