大数据平台建设的思考

时间:2024-03-07 17:46:14

笔者经历过几家公司,传统行业,互联网行业都经历过,每家公司对于数据的处理,使用都各不相同,但是总体上架构上都大同小异,
传统行业有传统行业的整体架构,目前已基本形成一套套完整的解决方案,互联网行业目前已基本形成一套整体的开源解决方案。
传统行业一般都是用的商用软件,一方面是为了系统的稳定,一方面也是少有这方面的人才,互联网呢,一般都是用开源软件,
一方面是为了满足自身业务的需求,一方面呢互联网网罗了大量的人才,可以做个性化开发。
数据平台的建设呢主要分为几部分,数据的存储,数据的清洗,数据的展现。
先说一下传统行业的互数据建设,传统行业一般少有做数据平台,数据的存储呢,一般都是会商用软件,数据库一般用oracle,sqlserver,DB2 数据的清洗也就是ETL工具呢一般是informatic,datastage,当然有些小点的公司还有用免费的kettle等ETK工具,数据的展现呢也就是BI一般是congnos,BIEE等,目前呢市面上有很多的BI工具,做报表,做分析,做挖掘,百家争鸣,各有异同。
目前也有很多厂商会给出一套完整的解决方案,包括数据的存储,数据清洗,数据展现,分析等。这也是很多传统公司使用的原因。
互联网呢,目前大部分的存储是hdfs,数据清洗呢统一用开源免费的,五花八门,有mr,hive,spark,pig等,数据展现呢,好多都是自己开发的,也有用一些比较实惠点的报表展现工具,但是很多互联网公司也开发出一个数据平台,包含数据的存储,数据的清洗,数据的展现等功能。

这里主要是对建设大数据平台做一些思考,数据平台的作用,数据平台包含哪些功能,数据平台的投入等。

首先呢数据平台的作用,对于一个稍微大点的互联网公司,数据平台是必不可少的,在目前科技不断进步的社会,数据产生的价值是不可估量的,再者有数据平台,数据的管理也是有统一的规范,还有一点,用数据平台对于数据的流向以及数据的分析,挖掘都有很好帮助。只要有一个好的数据平台,那么公司的数据就是一笔很大的财产。
数据平台的功能呢,其实就是几点数据的存储,数据的清洗,数据的展现,数据的分析,就我个人见解说一下。
数据平台的存储,目前一般都是hdfs,在前期需要设计好数据仓库的架构,如何分层,在数据平台中,可以通过建表(hive)
的形式,也可以通过创建路径的形式来对数据的存储,

数据的清洗,这部分非常重要的,一般是hsql,spark,mr,pig等都而已可以,但是呢,根据每个公司的技术水平来,一般是hsql是必须的,毕竟sql比较简单易上手,当然mr,spark也是必须的支持的,如果有些数据的导入,导出也可以封装到sqoop进行抽取,当然还有数据的上传的功能支持txt,excel等。对于shell,python等脚本,个人建议还是支持比较好,可以通过权限等手段控制目录。

数据的调度,这块也是非常必要的,调度可以分为强依赖和弱依赖,调度可以是原子的形式,也可以是流的形式,也就是任务组,这样可以公共的部分,关联密切的是封装成组,单独的封装成原子,这样后续依赖的任务就都可以依赖,当然少不了血缘关系,这块对于查找上下游依赖关系有很好的指引,对于查找问题也是特别方便的。

数据的监控 这部分也是比较重要的,监控可以分为几部分,一部分是任务是否成功的监控,一部分是数据的监控,可以设置阈值,通过邮件和短信配合的形式进行监控。也可以做一个全局的监控,可以监处每天错误的任务,可以是列表,也可以是图标。

数据的上下线以及版本管理,这个感觉很有必要,每一次测试都会形成一个版本,这样会回溯测试的任何一个版本,测试与线上严格分离,测试会把数据放到测试库中,根据对脚本进行解析,然后在测试时,把数据放到测试库中,可以对数据进行测试。

数据的展现,可以分为几块,发邮件的功能是必不可少,常规领导,财务等每天都要看的的数据可以发邮件,查询系统比不可少,当然这个可以是数据平台的一个界面,通过权限控制,可以设置一些个性化的查询,根据需求进行查询,开放给运营,产品,市场等。
数据的分析与挖掘,这块就等前期都做好了,后期可以通过一些报表,算法等进行数据分析和挖掘。

 

先简单的写一点,希望大家指点,共同讨论,共同进步