Spark 分布式环境--连接独立集群管理器

时间:2023-01-23 23:24:49

Spark 分布式环境:master,worker 节点都配置好的情况下 :

却无法通过spark-shell连接到 独立集群管理器

spark-shell --master spark://soyo-VPCCB3S1C:7077

问题处理:

原因:因为前期在非分布式情况下使用Spark通过JDBC连接过mysql还有使用过hive等

解决:

cp ./hive-site.xml  ./hive-site.xml.template

注释掉以前这些配置,就可以正常连接使用了

Spark 分布式环境--连接独立集群管理器