Issue 3:数据处理基本认识

时间:2023-03-08 19:32:29
Issue 3:数据处理基本认识

介绍

传统数据库对数据处理一般都分成两类:OLTP和OLAP。

数据分析(OLAP)的前提条件是要准备数据。

然后才是具体的数据分析,对此,可以分为统计型的数据分析和挖掘性的数据分析。

最后对分析结果的后续处理,比较常见的有数据可视化展示等。

总之,面对具体问题,首先要搞清楚数据从哪儿来,到哪儿去的问题。

对于具体的处理方法和处理工具,今后会具体谈体聊。

数据前期处理

主要包括数据清洗,ETL转换,数据导入,数据采集等等方面工作。

数据分析

可以直接基于MapReduce处理,也可以是上封装的SQL on Hadoop类型的工具。

对于hadoop一类的处理方式,速度都较慢,不适合于实时应用。可以采用内存平台或者流处理平台。比如ignite,spark,Strom等等。

数据可视化

zeppelin

参考文献:大数据怎么搞