Spark的四种部署方式并对应四种提交方式

时间:2023-03-09 00:25:24
Spark的四种部署方式并对应四种提交方式

1 Local模式  
本地模式  local模式 一台机器即可,开箱即用
不指定master,或者 --master  local  local[N]  local[*]
local模式下,使用多少个cores
2 standalone集群模式  
spark自带的集群模式  Master  Worker
    --master spark://host:port   指定master的地址
3 spark on yarn
把spark的程序提交到yarn集群中去运行
--master yarn
4 spark on mesos
mesos  也是一个资源调度平台
--master mesos://host:port
4种不同的部署模式,指定不同的master即可。