presto源码学习1——Presto概述

时间:2024-03-31 09:46:02

presto是基于Java语言开发的一个用来即席查询大数据的查询引擎,是facebook公司的一个开源产品

相关文档

  • git地址:https://gitee.com/mirrors/presto.git
  • 官方文档

presto的特点

特点 说明
多数据源 presto目前支持包括mysql、hive等多种常用存储
扩展性 presto支持开发者自定义开发可插拔式的数据源插件
混合计算 presto支持同一个集群接入多个同一种存储组件,比如一个presto集群可以接入两个以上的hive集群,并且支持对这两个不同的hive集群的数据进行join查询和计算
高性能 presto是完全基于内存的并行计算,查询速度是hive的十倍之上

presto中的角色

presto源码学习1——Presto概述

如图所示,presto一次查询中主要涉及下面三种角色:

  • client:发起数据查询请求方,方式有:pre-cli、jdbc等
  • Coordinator:presto集群中的管理节点,主要负责接收数据查询的请求、解析查询语句、生成查询计划、任务调度和集群节点管理等
  • worker:是presto集群重的工作节点,主要负责执行Coordinator节点分发的数据计算操作

其中,worker节点会定期向Coordinator节点发送心跳,而Coordinator节点会维护存活的worker节点列表,并从中选择合适的worker节点用来执行具体的计算任务

presto的相关概念

Connector

可以理解为presto用来访问不同数据源的驱动或是插件,目前支持的connector有hive、mysql、kafka、kudu等,这些connector都实现了presto定义的spi接口,如果需要自定义特殊的数据源,也可以通过实现这个spi接口来开发特定的插件

Catalog

presto的catalog相当于我们经常说的mysql实例,可以在$PRESTO_HOME/etc/catalog/下通过新增.properties文件来习总能catalog,其中文件名就是catalog名,我们可以通过定义不同的catalog来接入不同的数据存储,比如hive、mysql等,文件中的具体配置信息可以直接参考presto提供的杨例配置,比较清晰

Schema

schema就相当于我们平常用的数据库了,当presto访问hive或者mysql数据库时,schema就会转换为目标数据库中相同的概念

Table

presto中的数据表定义与其他数据库中的表定义是一样的

presto的查询执行模型

Statement

就是客户端向presto集群提交的SQL查询语句

Query

presto会将接收到的Statement语句进行解析,然后转化成一个query,并生成查询计划

与statement不同的是,Query包含了查询计划以及后面要介绍的Stage、Task、Split等很多用来进行数据计算的概念和组件,可以理解为statement就是sql语句,而query是一次查询执行

Stage

presto在执行Query的时候,会把每一个query切分成多个前后关联的stage,但这只是一个逻辑概念,是在coordinator中用来生成分布式查询计划的,本身不会在worker中执行

stage可以分为以下四种:

  • Source:负责连接数据源,从数据源读取数据的一个阶段
  • Fixed:接收其他stage的产出作为输入,然后对数据进行分布式计算的stage
  • Single(Root):聚合其他stage的产出,并将数据输出给用户的阶段
  • Coordinator_Only:执行DDL、DML相关的stage

Task

stage逻辑上又被分为一系列的task,这些task就是后面要实际在worker上执行的任务,并且这些task可以并行的执行

Split

split:数据分片,是对数据集的一个切分,每个task负责处理一个或多个数据split

Operator

一个Operator代表对Split的一种操作,比如过滤、加权、转换等。一个Operator回依次读取每个数据分片重的数据,并将operator代表的计算和操作应用在数据上,然后产生输出

Driver

一个task包含多个Driver,其中,Driver是一系列Operator的集合,并且将相应的输出传递给他的task,task将收集到的输出结果传送给下一个stage中的一个task

Exchange

presto的stage通过exchange来进行数据传递,可以分为output buffer和exchange client两种。

其中,生产数据的stage通过output buffer将数据传递给下游的stage,消费数据的stage通过exchange client丛上游stage读取数据