十分钟读懂火山引擎 DataLeap 数据治理实践

时间:2022-11-21 00:47:54

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

日前,火山引擎数智平台 VeDI 直播活动「超话数据」在线举办,来自火山引擎 DataLeap 数据产品专家从数据治理与管理,企业数智化升级等角度,分享了 DataLeap 在字节跳动内的治理经验和实践。

DataLeap 是火山引擎数智平台 VeDI 旗下的大数据研发治理套件产品,帮助企业快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设,提升数据研发效率、降低管理成本,自 2022 年推出至今,DataLeap 提供的数据研发治理能力已陆续被多个行业企业所采用。

本次分享主要围绕以下几个方向展开:

  1. 数据治理是数据中台核心能力之一
  2. 一站式数据治理赋能企业数字化转型
  3. 基于字节经验的数据治理解决方案
  4. 以「在线教育」场景为例,解读数据治理实践

十分钟读懂火山引擎 DataLeap 数据治理实践

企业数字化升级业务场景及痛点

1、数据孤岛

一种情况是海量数据分散在各处且形态各异,造成集成困难;另一种情况则是批量数据和实时数据的集成技术不同,导致集成难度。

2、需求响应慢

通常数据开发的需求是支持业务,但一般一个需求从提出到到沟通到交付,周期是 2 周以上,甚至更长,会影响到业务的一些敏捷度。其次数据的需求不好复用,也会涉及到像重复开发以及浪费资源的情况。

3、数据质量差

第三个痛点是数据质量差,由于数据的杂质比较多、质量不好,清洗难度大,当出现口径不一致的时,会影响到数据产出的时效。

4、资产共享难

最后一个是数据资产的共享难,一般企业有让数据资产能够沉淀,能够共享的诉求。如果是遇到源数据不完善,用户无法找到数据,同时缺少有效的知识体系的一些沉淀,对数据价值的挖掘也是一个难点。

十分钟读懂火山引擎 DataLeap 数据治理实践

火山引擎数据中台解决方案

一站式大数据研发治理平台

火山引擎目前提供的数据中台解决方案由两部分组成:一站式的大数据研发治理平台+大数据的平台。一站式的研发治理平台,它主要解决的包括数据的整合,支持多元异构的数据的接入。其次是数据的全链路研发管理,包括支持多引擎以及对接各种各样的 DATA、OPS、 CICD 的能力。第三层是全生命周期的治理,包括到质量基线、 SLA 等等。一站式的大数据研发治理平台第四层是数据安全共享,提供向细粒度的数据权限管控和审批。

大数据平台

大数据平台是一个底座,提供的是数据的存储和计算能力,支持像 TB 到 PB 级的离线,实时检索各种场景。它有两个引擎,一是基于开源 Hadoop 生态的 EMR,支持数据湖场景,二是火山引擎自研的湖沧一体分析服务 LAS,兼容开源生态,支持数据仓库 &数据湖场景。

十分钟读懂火山引擎 DataLeap 数据治理实践

大数据研发治理套件 DataLeap 产品架构

全链路的数据研发

全链路的数据研发,涵盖数据源、数据集成、数据处理、数据服务等全流程。为了提高数据开发效率,DataLeap 还提供支持数仓规范建模、代码审查的发布中心,以及支持任务运维、数据回溯的运维监控。

全域治理

全域治理,包括治理规划、进度管控到治理收益反馈全流程能力,支持用户完成 SLA 治理、数据质量、数据安全、成本治理以及报警治理等工作。

资产地图

资产地图,主要是支持数据资产沉淀、数据共享以及数据复用。

十分钟读懂火山引擎 DataLeap 数据治理实践

关键能力 1:一站式数据研发全链路管理

一站式的数据研发全链路管理,主要面向研发场景,覆盖从需求设计到开发、测试、发布、验收、运维等全部流程。

首先能提供稳定、安全、高效的数据集成服务,支持 20 +以上多元异构数据集成;其次能提供一站式、全栈数据研发服务,兼容 Spark、Flink 等多种计算引擎,提供 HSQL、Spark、Python、Flink 、SQL、Notebook 等 10+数据开发能力;最后是全面的运维能力,丰富的批、流任务监控规则,归类业务运维管理,监控全链路任务运行。

十分钟读懂火山引擎 DataLeap 数据治理实践


关键能力 2:数据全生命周期治理-分布式数据自治

第二个关键能力是全生命周期的数据治理,也可称为“分布式数据自治”。分布式数据自治场景涵盖稳定性、质量、安全、成本优化等内容。

在产品层面,火山引擎 DataLeap 提供规划式治理、治理诊断以及治理之后的目标验收和复盘,还具备 SLA 数据安全资源优化等功能。

十分钟读懂火山引擎 DataLeap 数据治理实践

关键能力 3:数据资产发现及细粒度权限管控

第三个关键能力是数据资产发现以及细粒度权限管控,它主要是提供了痊愈的数据采集,基于血缘能够展示出来所有的元数据,能够挖掘数据价值,能够找数、用数等。数据资产提供了强大的检索能力。并且 DataLeap 有很丰富的元数据的详情信息,结合数据血缘,帮助用户能够全面地探索和理解各种各样的数据内容。

DataLeap 提供事前、事中、事后这种全方位的数据安全保障,做到最小授权原则,同时提供强大的数据审计能力,包括权限审计、行为审计等等。

十分钟读懂火山引擎 DataLeap 数据治理实践

核心优势

第一是 DataLeap 是能够和多云多引擎开源兼容的一个大数据治理平台的软件产品,刚才提到的像 EMR 、LAS 这种平台。 从产品形态上来看,DataLeap 提供公有云的 SaaS 以及私有化多云部署的能力。在研发上,实现了研发全链路覆盖,这是一整套完善的能力。第三是字节特色的分布式数据自治, SLA 细粒度的权限管控,事中事前、事中事后的全生命周期的数据治理的能力。第四个优势是数据资产、地图共享,提供数据专题,指标平台、数据血缘链路追踪、数据服务,帮助搭建企业级数据资产体系和数据共享。

客户案例分享

以得到 APP 为例,得到面临业务数据不稳定、数仓欠缺规范性等治理问题。

通过引入数据 BP 机制,结合专家咨询,火山引擎 DataLeap 帮客户搭建可持续的治理体系。在提效方面,帮助得到推荐以及落地数据质量和 SLA 达成率,解决了产出延迟和脏数据的问题,显著的提升了数据故障的解决效率,即从 3 天降为 1 天。同时,DataLeap 帮得到沉淀出一个规范化数仓,构建出八个业务域,使得数据地图的完整度提升,并提高了找数、用数效率。

从实施效果上来讲,得到团队完成从 0 到 1 的数据治理体系搭建,最终实现数据研发提效 50% ,使得 4 人数仓团队管理超过 3000 个数据任务,数仓易用性也提升 60%。


点击跳转 ​​大数据研发治理套件 DataLeap​​ 了解更多