【文件属性】:
文件名称:IQL即席查询服务
文件大小:14.61MB
文件格式:RAR
更新时间:2022-01-06 11:12:10
spark
基于SparkSQL实现了一套即席查询服务,具有如下特性:
优雅的交互方式,支持多种datasource/sink,多数据源混算
spark常驻服务,基于zookeeper的引擎自动发现
负载均衡,多个引擎随机执行
多session模式实现并行查询
采用spark的FAIR调度,避免资源被大任务独占
基于spark的动态资源分配,在无任务的情况下不会占用executor资源
支持Cluster和Client模式启动
基于Structured Streaming实现SQL动态添加流
基于REPL的写代码功能,动态注册UDF函数
高效的script管理,配合import/include语法完成各script的关联
对数据源操作的权限验证