kubernetes-spark:在Kubernetes中运行Apache Spark

时间:2021-05-06 15:12:48
【文件属性】:
文件名称:kubernetes-spark:在Kubernetes中运行Apache Spark
文件大小:4KB
文件格式:ZIP
更新时间:2021-05-06 15:12:48
Spark on GlusterFS示例 本指南是标准《 的扩展,并描述了如何使用于GlusterFS的上运行Spark。 本质上,设置是相同的,因为您将以与标准Spark指南相同的方式设置Spark Master Service和Spark Master pod,但是您将部署不同的ReplicationController并以略有不同的方式提交Spark Jobs。 步骤零:先决条件 该示例假设您已经能够成功地在Kubernetes中使用标准的Spark示例,并且您具有一个可从Kubernetes群集访问的GlusterFS群集。 还建议您熟悉GlusterFS卷插件及其配置方法。 第一步:启动您的Spark Master服务和Pod 请遵循标准的Spark示例来部署Spark Master Pod和Spark Master服务。 请按照说明验证主服务是否正在运行并且可以正常运行 第
【文件预览】:
kubernetes-spark-master
----spark-master.json(840B)
----glusterfs-endpoints.json(442B)
----spark-master-service.json(303B)
----README.md(6KB)
----spark-worker-rc.json(1KB)

网友评论