kube-datascience:数据科学与kubernetes上的火花

时间:2021-05-01 21:39:12
【文件属性】:
文件名称:kube-datascience:数据科学与kubernetes上的火花
文件大小:33KB
文件格式:ZIP
更新时间:2021-05-01 21:39:12
Python 适用于EKS / GKE的Kubernetes数据科学 该项目是一个在Kubernetes上运行的交互式数据科学环境。 只要有一个Spark集群,就会部署Jupyter和Apache Livy之类的容器。 目前,kubernetes仅支持集群模式下的spark提交,这对于生产作业非常有用,但对于交互式分析却不那么有用。 这就是为什么火花群集在环境中运行的原因。 该项目将在定义的名称空间中部署容器,您可以根据需要更改名称空间名称(请参阅以下部分) 在Kubernetes中运行服务 这些图像会渗入我的个人存储库,并且可以公开获得。 确保正确配置了kubectl,以便指向您的kubernetes集群。 Makefile将为kubernetes生成部署文件,请勿直接使用kubenetes/*文件, kubenetes/*通过Makefile使用它们。 部署环境(不需要变量,请查看Makef
【文件预览】:
kube-datascience-master
----docker()
--------jupyter()
--------livy()
--------Makefile(274B)
--------docker-compose.yml(1KB)
--------spark()
--------spark-ui-proxy()
----portal-server()
--------app.py(1KB)
--------Dockerfile(92B)
--------README.md(762B)
--------Makefile(126B)
--------templates()
----kubernetes()
--------jupyter()
--------namespace()
--------network()
--------spark()
----README.md(2KB)
----Makefile(2KB)
----.gitignore(53B)

网友评论