ORACLE之存储过程异常捕获并抛出

时间:2025-03-14 20:01:08
Spark On Yarn之指定找不到metastore

西门郡丞: 场景一二三异常的原因是,在deploy-mode为cluster的场景下,spark程序的driver进程会运行在集群的任一节点上,其会使用hdfs目录/user/<spark client user name>/.sparkStaging/__spark__conf__.zip之中的配置文件进行数据读写访问,而该压缩文件是在spark提交任务的时候使用${HADOOP_HOME}/etc/hadoop目录下的配置文件打包而成,也就是hadoop命令所在目录的/etc/hadoop文件夹。如果该文件夹下面没有文件,那么使用集群部署模式的spark程序自然也就无法读取到完整的hive数据库目录了,而只能读取到default数据库。在deploy-mode为client的场景下,spark程序的driver进程会运行在spark客户端上,其会使用${SPARK_HOME}/conf目录下的配置文件进行hive的数据读写,如果${SPARK_HOME}/conf目录下有,那么spark程序就可以读取到完整的hive数据库列表。所以为了让在集群部署模型下的spark程序可以读取到完整的hive数据库列表,需要拷贝一份文件的副本到目录${HADOOP_HOME}/etc/hadoop下。