数据标签开发之SparkSQL

时间:2024-03-20 21:59:30

书中简介数据标签开发之SparkSQL
注意Tree和Rules的概念
数据标签开发之SparkSQL
1) 将SQL语句通过词法和语法解析生成未绑定的逻辑计划(包含Unresolved
Relation、Unresolved Function和Unresolved Attribute),然后在后续步骤中使用不同的Rule应用到该逻辑计划上;

2) Analyzer使用Analyzer Rules,配合数据元数据(如Sessioncatalog或Hive Metastore等),完善未绑定的逻辑计划的属性而转换成绑定的逻辑计划。具体流程是先实例化一个Simple Analyzer,然后遍历预先定义好的Batch,通过父类的Rule Exector的执行方法运行Batch里面的Rules,每个Rule会对未绑定的逻辑计划进行处理,有些可以通过一次解析处理,有些需要多次迭代,迭代到FixPoint次数迭代或前后两次的树结构没有变化。

3) Optimizer使用Optimization Rules,将绑定的逻辑计划进行合并、列裁剪和过滤器下推等优化工作后生成优化的逻辑计划。

4) Planner使用Planning Strategies,对优化的逻辑计划进行转换(Transform)生成可以执行的物理计划。根据过去的性能统计数据,选择最佳的物理执行计划CostModel,最后可以执行的物理执行计划树,即得到SparkPlan。

5) 在最终真正执行物理执行计划前,还要进行preparations规则处理,最后调用SparkPlan的execute执行计算RDD