Flink Sql 之 Calcite Volcano优化器(源码解析) - 末日布孤单

时间:2024-02-23 20:10:40

Calcite作为大数据领域最常用的SQL解析引擎,支持Flink , hive,  kylin , druid等大型项目的sql解析

同时想要深入研究Flink sql源码的话calcite也是必备技能之一,非常值得学习

我们内部也通过它在做自研的sql引擎,通过一套sql支持关联查询任意多个异构数据源(eg : mysql表join上 hbase表在做一个聚合计算)

因为calcite功能比较多,本文主要还是从calcite重要的主流程源码入手,主要侧重在VolcanoPlanner的优化器上

梳理一下Calcite SQL执行的几个阶段

 

总结下来就是

1. 通过Parser解析器将传入的sql解析成一颗词法树,SqlNode作为树的节点

2. 做词法的校验Validate,类型校验,元数据校验等等

3. 将校验好的SqlNode树转换成对应的关系代数表达式,也是一颗树,RelNode作为节点

4. 将RelNode关系代数表达式树,通过内置的两种优化器Volcano , Hep 优化关系代数表达式得到最优逻辑代数的一颗树,也是RelNode

5. 最优的逻辑代数表达式(RelNode),会被转换成对应的可执行的物理执行计划(转换逻辑根据框架有所不同),像Flink就转成他的Operator去运行

 

来详细的看下每个阶段

1. Sql语句解析成语法树阶段(SQL - > SqlNode)

这一个阶段其实不是calcite实现的,而是calcite自己定义了一套sql语法分析规则模板,通过javaCC这个框架去实现的

拉代码来看下

源码中那个Parser.jj就是calcite核心的语法模板了,比如说我们要为flink sql添加什么语法比如count window就要修改这里

其中定义了是什么sql token 如何返回sqlNode的具体逻辑

看个例子

"select ID,NAME from MYHBASE.MYHBASE where ID = \'1\' "

就会被解析成这样一颗sqlNode树

 这里就不赘述了,javacc 可以参考官网(https://javacc.github.io/javacc/)

 

2 . 语法校验validator阶段

这里通过校验器去校验,这里不展开了,不是重点

 

3.  将sqlNode转成relNode的逻辑表达式树(sqlNode - > relNode)

这里calcite有默认的sql2rel转换器org.apache.calcite.sql2rel.SqlToRelConverter

这里也先不展开了

 

4.  逻辑关系代数树优化(relNode - > relNode)

这里是中重点中的重点!!!为什么有那么多框架选择Calcite就是因为它的sql优化

通过3阶段我们得到了一个relNode树,但这里这颗树并不是最优解,而calcite通过自身的两种优化器planner得到一个优化后的best树

这里才是整个calcite的核心,calcite提供的两种优化器

HepPlanner规则优化器(简单理解为定义许多规则Rule,只要能符合优化规则的树节点的就按规则转换,得到一颗规则优化后的树,这个比较简单)

VolcanPanner代价优化器(基于代价cost,树会根据rule一直迭代,不停计算更新root relnode节点的代价值,来找到最优的树)

先来看下

select ID,NAME from a where ID = \'1\' 

这样sql转换而来的一颗RelNode树长什么样子

 可以看到很多节点都是以Logical命名的,因为这是3阶段通过calcite默认的转化器(SqlToRelConverter)转换而来的逻辑节点,逻辑节点是没有物理属性的也无法运行的

接下来进入calcite的代价cost优化器VolcanoPlanner进行优化

返回的就是代价最优的解

进去calcite的optimize方法

首先calcite会将我们上一阶段得到的relNode设置到我们代价Volcano优化器的root里去

在其中 org.apache.calcite.plan.volcano.VolcanoPlanner.registerImpl() 方法中

断点的地方在register的过程中会先将relnode的input先注册

在ensureRestered方法中

可以看到有绕回了registerImpl()方法

也就是树的子节点深度遍历先注册

接下来看一下注册过程

既然是深度遍历回到刚才看的VolcanoPlanner.registerImpl()方法中看下onRegister()方法之后做了什么

可以看到要触发规则了,这里就要穿插一个概念,calcite中的Rule

从类描述中我们可以知道,规则可以将一个表达式转换成另一个,什么意思呢,来看下有哪些抽象方法

什么意思呢?归纳起来就是两个核心方法

matches()返回当前的relnode是否能匹配上此规则rule

onMatch  ()  当匹配上此规则时,这个方法会被调用,在其中可以调用transformTo()方法,这个方法的作用就是将一个relNode转换成另一个relNode

规则就是整个calcite的核心了,其实所有的sql优化都是由对应的rule组成的,将sql的优化逻辑实现为对应的rule让对应的relNode树节点做对应的转换来得到最优的best执行计划

ok回到我们的主流程上,继续上面的volcanoPlanner.fireRule()方法看看如何触发规则的

这里逻辑是比较简单的,就是当relnode满足rule就调用volcanoRuleCall的match()方法

但是有个地方需要注意,这里的classOperands这里包含了relNode以及所有可能匹配上这个relnode的规则的映射关系,并且可以向上也可以向下

具体是什么意思呢?

假设我有一个LogicFilter的RelNode,然后定义了两个规则

RuleA   

operand(Logicalfilter.class, operand(TableScan.class))

RuleB   

operand(Logicalproject.class, operand(Logicalfilter.class))

那这两个rule都会进入这个可能匹配上的映射关系classOperands里面去

当匹配上rule以后,接着来继续看代码

然后走到了volcanoPlanner.DeferringRuleCall的onMatch中

这里就是把这个rule的加入到了IterativeRuleDriver中的ruleQueue,这个队列就是专门用来存放已经匹配上的rule的,不难发现这些匹配上的rule只是存在队列里面,但还没有执行这些规则

那多久会执行呢?

回到主流程当我们setRoot里的所有relnode子节点都register以后

会走具体planner的findBestExp()方法,从名字可以看出来找到最优的表达式

这里要提前说一下,claicte的优化原理是,它假定如果一个表达式最优,那它的局部也是最优的,那当前relNode的best我们也就只用关心,从

1.子节点的所有best加起来

2. 自己能匹配上的所有规则,以及剩下部位的best加起来

从中比较得到的就是当前relnode的最优解了

引用个图

如果A只能匹配这两种规则,那我们枚举求最优解的时候就只用考虑这几张情况

关于原理不太了解的可以看看这篇 https://io-meter.com/2018/11/01/sql-query-optimization-volcano/

 接着看findBestexp()

这里就是整个优化寻找最优解bestExp的主loop了

不停的从queue中拿rule, 运行rule,直到所有rule都执行完才退出

没错这里的这个queue就是前面说到的,当默认的relnode注册进来的时候会把能匹配上的rule放这queue里面去

这里自然就有个疑问, 前面说到rule运行的时候会改变relNode节点,也就是添加relndoe的等价节点,

那这里树的结构变化会导致,之前不能匹配上的rule改变树的结构后就能匹配上,那这里能匹配上的rule不就漏了,那就接着看rule的onMatch()中用于转换等价节点的方法transformTo()

其中转换的新节点,在transformTo方法中又会执行register

 也就是说新来的节点也会走一遍,默认relNode注册的流程,当新节点注册成等价节点会有新的规则匹配上的时候,又会将此rule加入rulequeu中等待下一次执行rule了

另外当这个relnode节点会被规则rule转换时,生成的新relnode会被设置加入到这个relnode的等价节点中去

 加入等价节点,并且在propagateCostImprovement方法中

计算当前等价节点会不会使,当前relnode的cost代价下降,如果下降了,那就更新当前relnode的bestcost并且向上冒泡修改父relnode的最优bestCost

while true 一直触发拉取ruleQueue中的rule,直到rule为空

然后rule会添加新的等价节点

新的等价节点如果更优cost,更新整棵树的best Relnode

新的等价节点relnode会匹配上新的规则,新的rule加入到rulequeue中

进入下一次循环,直到没有rule可以匹配上,这样bestexp就可以返回优化后的最优的relnode了

 

之后就是根据这个最优的relnode,不同的框架翻译成自己的api

calciet终于说完,,之后就可以开始解析flink sql的源码了