Spark 分布式环境:master,worker 节点都配置好的情况下 :
却无法通过spark-shell连接到 独立集群管理器
spark-shell --master spark://soyo-VPCCB3S1C:7077
问题处理:
原因:因为前期在非分布式情况下使用Spark通过JDBC连接过mysql还有使用过hive等
解决:
cp ./hive-site.xml ./hive-site.xml.template
注释掉以前这些配置,就可以正常连接使用了
Spark 分布式环境:master,worker 节点都配置好的情况下 :
却无法通过spark-shell连接到 独立集群管理器
spark-shell --master spark://soyo-VPCCB3S1C:7077
问题处理:
原因:因为前期在非分布式情况下使用Spark通过JDBC连接过mysql还有使用过hive等
解决:
cp ./hive-site.xml ./hive-site.xml.template
注释掉以前这些配置,就可以正常连接使用了