spark安装运行在webUI界面不显示worker

时间:2024-05-23 15:28:46

spark安装运行在webUI界面不显示worker


./spark/conf/spark-env.sh 文件中需要显式地设置一些环境变量,不用系统默认值。亲测,ubuntu16.04系统,spark-env.sh中手动配置

export JAVA_HOME=<>/jdk1.8
export SCALA_HOME=<>/scala
export HADOOP_HOME=<>/hadoop
export HADOOP_CONF_DIR=<>/hadoop/etc/hadoop

export SPARK_MASTER_IP=192.168.60.1
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_HOST=192.168.60.1
export SPARK_LOCAL_IP=192.168.60.1
export SPARK_EXECUTOR_MEMORY=1024m

把以上变量配置完整且正确,spark集群就能正确运行。

保存,再重新启动spark,问题解决