jstorm任务调度总结

时间:2022-07-18 20:02:59

原文链接:http://blog.chinaunix.net/uid-29038263-id-5765584.html

1 Jstorm简介

      Jstorm是开源的分布式实时计算系统,相比于storm的优势在于稳定性、容错性和性能等。JStorm通过减少对zookeeper的访问量、增加反序列化线程、优化ACK、增加监控内容及JAVA本身优势等各个方面优化了Storm的性能和稳定性。总之,JStorm比Storm更强大、更稳定、性能更好。这里我们主要介绍jstorm的调度原理及实现,现在的jstorm相较于storm的任务调度更加合理,更加适合大集群,支持用户定制任务调度及动态扩容等高级任务调度功能。在了解调度之前,我们简单介绍下其架构和拓扑模型。如图所示表示的jstorm的系统结构。
jstorm任务调度总结

       整个jstorm系统共存三类不同的进程,分别是nimbus,supervisor和worker。Nimbus主要负责topology提交、向zk写入元信息及任务调度;supervisor根据nimbus任务调度结果启动/停止工作进程worker;worker是jstorm任务执行者,里面的task对应拓扑模型的一个component。下图表示一个拓扑。Spout是jstorm的消息源,用于生成消息,bilt是消息的处理单元,acker是用于保证消息不丢失的component。下图存在的component有1个spout、2个bolt-A、2个bolt-B和1个acker,这些component组成了一个拓扑,消息经过拓扑树传递处理,可以得到用户想用个的结果。
jstorm任务调度总结
结合拓扑模型以及jstorm系统结构,jstorm任务调度就是在集群中利用合适的资源,在supervisor机子上创建合理数量的worker,并将拓扑的component合理分配到各个worker上去的过程。Jstorm任务调度有以下几种特点:

  • 尽可能保证每台supervisor机子上worker数量的平均分配,尽可能保证每个worker上task数量的平均分配;
  • 为了提高集群的稳定性,尽可能的将同类型的组件分配到不同的supervisor及worker上去,如果将同类型的组件分配到了一台supervisor上去,如果这一台supervisor挂了,可能就会造成拓扑中这一类组件的丢失;
  • 为了提高性能,尽量使得存在直接消息传递关系的component-task分配到同一个worker,这样的话用一个worker下的消息传输走的就是内部通道,传递速度会比较快;
  • 支持很多高级功能,下面我们会介绍到;

2  Jstorm任务调度

       拓扑一般以参数文件的形成提交,参数文件可以设置worker数量、component并发度和worker的内存和cpu等,如下所示。在nimbus去调度任务之前,需要确定将要分配的worker数量。

jstorm任务调度总结
Nimbus会根据每台机子的可利用cpu和内存信息,和用户设置的参数worker.memory.size、supervisor.slots.port.cpu.weight。根据getSupervisorPortList计算出每个supervisor的可利用端口数量,以及整个集群的可利用端口数量。所以最后实际的需要调度的worker数量时取集群可利用端口数量、topology.workers和拓扑的并发度总数这三者中最小值。根据每个supervisor机子可利用端口数量,来确定每个supervisor将要启用的worker数量,尽量保证supervisor上启用的worker数量平均。如图所示,黑色代表supervisor机子上已经存在的worker,在这集群上提交拓扑,需要再分配5个worker。则分配算法为红色表示,supervisor-1先分配worker-1,worker分配到supervisor次序如标号所示。
jstorm任务调度总结
确定了各个supervisor机子上要启动的worker数量后,再确定每一个worker将要分配的task。分配task到特定的worker的原则有:

  1.  尽量将同组件的task分配到不同的worker及supervisor上去,保证该worker上同组件的task数量最少,保证通组件task到不同的supervisor或worker上去,提高了拓扑运行的稳定性;其比较函数实现如下图1,遍历所有worker利用比较函数选择出合适的worker;
    jstorm任务调度总结
  2. 尽量分配task到supervisor上worker已有task数量比较少的上去,保证每个worker上task数量均衡;其比较函数实现如下图,遍历所有worker利用比较函数选择出合适的worker;
    jstorm任务调度总结
  3. 尽量将有直接消息传输的task放到同一个worker上去,保证消息传输走内部通道,保证传递速度;遍历所有worker利用比较函数选择出合适的worker;
jstorm任务调度总结

     task选择合适的worker,先按照规则i筛选,如果满足规则i的worker数量不止唯一;再根据规则ii筛选,结果仍然不唯一;再按照规则iii筛选。里我们以topology_nums=1,  topology_level=1, workers=24, spout.parallel=10, bolt_0.parallel=18, acker.executors=12,集群数量为6台测试为例。

  • 测试目标

以worker为维度,尽量将worker平均分配到各个supervisor上;

②保证同类型task尽量均分到不同worker和supervisor的基础上,其次保证每一个worker和supervisor的task数量均衡,最后保证直接相关的task放到一个进程上去;

  • 测试结果:

Worker被一一分配到supervisor上
jstorm任务调度总结

Task按规定分配到work上去(共有24端口,先分配12个acker保证能够放到不同的进程且每个supervisor有2个acker;再分配18个bolt-task,其中6个task会与acker在一个进程;最后分配10个spout-task分配,应该和bolt-task在一起)
jstorm任务调度总结

3  用户自定义任务调度

       Jstorm实现了用户自定义调度功能,提供给用户的接口是ConfigExtension.setUserDefineAssignment,用户只要自定义List<WorkerAssignment>数据即可。WorkerAssignment允许用户去设置这个worker的jvm参数、worker的内存大小和cpu的权重。这里我们以例子说明用户如何实现自定义调度;以下贴出了读取配置文件设置自定义调度的过程:

文件
jstorm任务调度总结

jstorm任务调度总结
Nimbus在任务调度时,其实会把自定义调度优先级设定为最高。

4  其他