【文件属性】：
文件名称：docker-mesos-pyspark-hdfs:使用docker容器的模拟多节点mesos（py）spark集群示例
文件大小：9KB
文件格式：ZIP
更新时间：2021-05-06 00:53:58
Shell
这些脚本使您可以模拟多节点Mesos集群，以使用Docker容器运行Spark（除了Hadoop，Hadoop目前仅配置为单个节点）。
只需稍加修改IP地址，就可以轻松地将其适应于实际的多节点部署。
基本安排是这样的：
Docker主机，该主机还充当Spark客户端（提交Spark任务的位置）。 这就是您要构建映像并在其上运行容器的内容。
运行Zookeeper流程以协调Mesos领导者的Docker容器
运行Mesos主进程以充当领导者的Docker容器
运行Mesos从属进程以充当跟随者的Docker容器
运行Hadoop来通过HDFS托管文件的Docker容器
几乎所有内容都是通过run脚本来处理的。
请注意，您也可以有多个Zookeeper，但是run脚本尚未正确处理这些IP的收集。
客户端设置
如果您没有docker和docker-compose ，请运行：
./ru
【文件预览】：
docker-mesos-pyspark-hdfs-master
----run(5KB)
----example.py(681B)
----readme.md(3KB)
----docker()
--------Dockerfile.mesos(489B)
--------Dockerfile.zookeeper(586B)
--------assets()
--------Dockerfile.leader(104B)
--------Dockerfile.follower(279B)
--------Dockerfile.hadoop(1KB)