文件名称:scale:容器化算法的处理框架
文件大小:47.79MB
文件格式:ZIP
更新时间:2024-06-03 22:51:25
docker scale mesos dcos Python
规模 Scale是一个系统,可提供对机器集群上的自动处理的管理。 它允许用户定义作业,该作业可以是任何类型的脚本或算法。 这些作业在获取的源数据上运行并生成产品文件。 可以将生产的产品分发给适当的用户和/或用于根据性能和准确性评估生产算法。 Mesos和节点 Scale在处理作业的网络机器群集(称为节点)上运行。 Scale利用Apache Mesos(一个免费的开源项目)来管理节点上的可用资源。 Mesos通知Scale可用的计算资源,并且Scale安排作业在这些资源上运行。 摄取 Scale使用称为Strike的Scale组件提取源文件。 罢工是一个过程,用于监视将源数据文件复制到其中的摄取目录。 摄取新的源数据文件后,Scale会根据摄取的文件的类型生成作业并将其放置在队列中。 许多Strike进程可以同时运行,从而使Scale可以监视许多不同的摄取目录。 职位 Scale根据其已