我的数据是怎样练成的 二

时间:2022-12-27 10:56:53

我的数据是怎样练成的 二

在一个业务的IT架构中,数据架构、应用架构、技术架构是三驾马车,业务架构驱动着应用架构与数据架构。从业务架构出发分析业务流程、定义数据架构,流程和数据结合定义应用架构,根据数据架构和应用架构设计技术架构。

数据架构是一个很宏大的词所以聚焦下,在这个随手写的小文章仅含指通过数仓/数据平台这个领域,不包含业务系统中数据架构。我自己不是个架构师,不知道那一堆方法论,刚巧经手了几个BI&数据平台改进与优化的思考来做整理。

企业组建数据团队、BI团队,其最主要是看到了数据价值。在组建初期疯狂招兵买马,恨不得下个月就把数据平台快速的构建起来。每年投入机器成本含人工少则千万rmb多则几千万美刀且经过1-2年的折腾,数据&BI团队逐步的变成了公司最重的成本部门,数据相关人员换了一茬又一茬。但结局数据平台表字段混乱不堪,维护更新困难、集市报表层混乱,各种业务ID转换繁琐、日志版本复杂等等一大堆,就像一颗满身被蛀虫掏空了大树,公司每年的投入与实际的产出这个ROI严重失衡。

在这种环境下有的朋友会说“直接重构”,同样我也认为要重构,必须重构。可是一旦要进入重构阶段问题就来了,粗狂的调研甚至不做分析或分析的很浅,结果在重构中无数的地雷开始起到阻击的作用,然后痛不欲生。

总结下来基本都死在对细节的把握度上,单环节上出现小的问题影响不大,但数据流的内部关联性很强,多个问题连环爆炸时造成的影响面可能会让大厦坍塌。

继续给自己挖坑(????) !!!