多点DMALL × Apache Kyuubi：构建统一SQL Proxy探索实践
伴随着国家产业升级的推进和云原生技术成熟，多点 DMALL 大数据技术也经历了从存算一体到存算分离的架构调整变迁。本文将从引入 Kyuubi 实现统一 SQL Proxy 的角度讲述这一探索实践的历程。 多点 DMALL 成立于2015年，提供一站式全渠道数字零售解决方案 DMALL OS，目...
多点DMALL × Apache Kyuubi：构建统一SQL Proxy探索实践
伴随着国家产业升级的推进和云原生技术成熟，多点 DMALL 大数据技术也经历了从存算一体到存算分离的架构调整变迁。本文将从引入 Kyuubi 实现统一 SQL Proxy 的角度讲述这一探索实践的历程。多点 DMALL 成立于2015年，提供一站式全渠道数字零售解决方案 DMALL OS，目前已与1...
Apache Kyuubi 高可用的云原生实现
Apache Kyuubi 是一个分布式的、多租户网关，用于在 Lakehouse 上提供 Serverless SQL。Kyuubi 最初是基于 Apache Spark 构建的兼容 HiveServer2 协议的大规模数据处理和分析工具，目前已经支持 Flink/Trino/Hive/Doris...
Apache Kyuubi 在B站大数据场景下的应用实践
01 背景介绍 近几年随着B站业务高速发展，数据量不断增加，离线计算集群规模从最初的两百台发展到目前近万台，从单机房发展到多机房架构。在离线计算引擎上目前我们主要使用Spark、Presto、Hive。架构图如下所示，我们的BI、ADHOC以及DQC服务都是通过自研的Dispatcher路由服务来...
Apache Kyuubi 高可用的云原生实现
本文作者为中国移动云能力中心大数据团队软件开发工程师洪冬冬，文章主要介绍了 Apache Kyuubi 基于 Apache ZooKeeper 实现高可用的原理，以及在云原生场景下，利用现有的组件和技术实现云原生的负载均衡和客户端高并发。 背景 Apache Kyuubi 是一个分布式的、多...