建信金融科技陈晓新:20000节点数仓集群在大型商业银行的落地实践

时间:2022-12-28 16:06:57
建信金融科技陈晓新:20000节点数仓集群在大型商业银行的落地实践

陈晓新 建信金融科技 基础技术中心,龙趺MPP DB产品负责人

数据仓库在商业银行有着几十年的建设发展历程,在过去的十年中,大多数商业银行普遍选择MPP架构的数据库来进行数据库仓库的底层搭建。不过,随着银行数字化的快速发展,传统MPP架构的数据库慢慢开始无法满足日益增长的海量数据的存储和计算需求。为了满足在云化数仓建设中,对于底层数据仓库集群数据互通共享、并发线性扩展、资源动态伸缩、运维自动智能等方面的需求,中国建设银行在2018年启动新一代MPP数据库的研发工作,并与2019年底正式上线。经过几年的研究和打磨,目前建行的云化数仓集群已经超过20000个节点。
本次分享,聚焦于超大规模MPP数据库的技术架构设计,以及该架构对于商业银行数据仓库建设所带来的全新变革和提升。同时也总结了建设过程当中所遇到的一些问题,和对于未来发展方向的一些思考。
演讲重点内容提纲:
1)数仓集群建设现状(规模、运行现状等)
2)技术架构和特征(为什么要建设新一代MPP数据库,云原生架构和计算与存储分离架构)
3)各组件核心能力
4)应用全新体验(对于上层应用以及运维使用带来什么样的变革和提升)
5)未来规划和思考