详解数仓的网络调度与隔离管控能力

时间:2023-02-28 19:11:36
摘要:GaussDB目前采用的FIFO调度机制,该调度机制无法满足用户的网络隔离需求和QoS需求,同时FIFO调度可能带来比较严重的抖动。

本文分享自华为云社区《【玩转PB级数仓GaussDB(DWS)】GaussDB(DWS)网络调度与隔离管控能力》,作者:门前一棵葡萄树 。

一、常见的调度算法

QoS(Quality of Service)即服务质量,是一种调度控制机制,是网络设计和运维的重要技术。在带宽资源有限情况下,针对不同用户/业务采用不同的调度策略,为任务提供端到端的服务质量保证。QoS本身并不会拓展带宽,提升网络吞吐量,相反设计不合理的调度反而有可能降低整体吞吐量。QoS的一个关键点是允许不平等的网络调度,降低时延要求低、性能和抖动不敏感的业务调度优先级,优先调度时延要求高、带宽要求一般不高的业务。

调度器是实现QoS的关键,调度器根据优先级和带宽配比进行业务调度。调度器的输入是要提供服务的数据包队列,输出是完成调度输出的一个个数据包。调度算法是调度器的核心,设计调度算法要充分考虑业务场景和用户需求,没有万能的调度算法,只有合适的调度算法。常见的调度算法有很多,这里我们只简单介绍GaussDB网络调度涉及的调度算法:

1.FIFO调度

FIFO(First In Forst Out)调度使用的是FCFS策略,是一种不考虑QoS的调度算法。FIFO调度不进行报文分类,所有业务共用一个队列,按照请求进入队列顺序进行调度。如下图所示,三种不同业务的请求全部加入到一个队列中,按照FIFO的规则进行调度。

详解数仓的网络调度与隔离管控能力