大数据与云计算、物联网的关系

时间:2024-03-18 14:55:44
大数据与云计算、物联网的关系

云计算、大数据和物联网代表了IT领域最新的技术发展趋势,三者相辅相成,既有联系又有区别。

大数据概述

1.1大数据发展的三个阶段:

阶段

时间

内容

第一阶段:萌芽期

上世纪90年代至本世纪初

随着数据挖掘理论和数据库技术的逐步成熟,一批商业智能工具和知识管理技术开始被应用,如数据仓库、专家系统、知识管理系统等。

第二阶段:成熟期

本世纪前十年

Web2.0应用迅猛发展,非结构化数据大量产生,传统处理方法难以应对,带动了大数据技术的快速突破,大数据解决方案逐渐走向成熟,形成了并行计算与分布式系统两大核心技术,谷歌的GFD和MapReduce等发数据技术受到追捧,Hadoop平台开始大行其道

第三阶段:大规模应用期

2010年以后

大数据应用渗透各行各业,数据驱动决策,信息社会智能化程度大幅提高

1.2大数据--属性

大数据与云计算、物联网的关系

1、数据量大

      数据一直都在以每年50%的速度增长,也就是说每两年就增长一倍(大数据摩尔定律)

2、数据类型繁多

      大数据是由结构化和非结构化数据组成的:

           10%的结构化数据,存储在数据库中

           90%的非结构化数据,它们与人类信息密切相关

3、处理速度快

4、价值密度低,商业价值高

1.2.1大数据关键技术

 大数据与云计算、物联网的关系

 

1.3  大数据计算模式

大数据计算模式

解决问题

代表产品

批处理计算

针对大规模数据的批量处理

MapReduce、Spark等

流计算

针对流数据的实时计算

Storm、S4、Flume、Streams、Puma、DStream、Super Mario、银河流数据处理平台等

图计算

针对大规模图结构数据的处理

Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等

查询分析计算

大规模数据的存储管理和查询分析

Dremel、Hive、Cassandra、Impala等

 

二、云计算

1. 云计算概念

     云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力,用户只需要在具备网络接入条件的地方,就可以随时随地获得所需的各种IT资源。

 大数据与云计算、物联网的关系

2. 云计算关键技术

     云计算关键技术包括:虚拟化、分布式存储、分布式计算、多租户等。

 大数据与云计算、物联网的关系

3. 云计算数据中心

     云计算数据中心是一整套复杂的设施,包括刀片服务器、宽带网络连接、环境控制设备、监控设备以及各种安全装置等。

     数据中心是云计算的重要载体,为云计算提供计算、存储、带宽等各种硬件资源,为各种平台和应用提供运行支撑环境。

     全国各地推进数据中心建设。

 大数据与云计算、物联网的关系

4. 云计算应用

     政务云上可以部署公共安全管理、容灾备份、城市管理、应急管理、智能交通、社会保障等应用,通过集约化建设、管理和运行,可以实现信息资源整合和政务资源共享,推动政务管理创新,加快向服务型*转型。

     教育云可以有效整合幼儿教育、中小学教育、高等教育以及继续教育等优质教育资源,逐步实现教育信息共享、教育资源共享及教育资源深度挖掘等目标。

     中小企业云能够让企业以低廉的成本建立财务、供应链、客户关系等管理应用系统,大大降低企业信息化门槛,迅速提升企业信息化水平,增强企业市场竞争力。

     医疗云可以推动医院与医院、医院与社区、医院与急救中心、医院与家庭之间的服务共享,并形成一套全新的医疗健康服务系统,从而有效地提高医疗保健的质量。

5. 云计算产业

       云计算产业作为战略性新兴产业,近些年得到了迅速发展,形成了成熟的产业链结构,产业涵盖硬件与设备制造、基础设施运营、软件与解决方案供应商、基础设施即服务(IaaS)、平台即服务(PaaS)、软件即服务(SaaS)、终端设备、云安全、云计算交付/咨询/认证等环节。

 大数据与云计算、物联网的关系

云计算产业链

三、物联网

1. 物联网概念

     物联网是物物相连的互联网,是互联网的延伸,它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起,形成人与物、物与物相联,实现信息化和远程管理控制。如下图物联网体系架构:

大数据与云计算、物联网的关系

2. 物联网关键技术

     物联网中的关键技术包括识别和感知技术(二维码、RFID、传感器等)、网络与通信技术、数据挖掘与融合技术等。

大数据与云计算、物联网的关系

3.物联网应用

     物联网已经广泛应用于智能交通、智慧医疗、智能家居、环保监测、智能安防、智能物流、智能电网、智慧农业、智能工业等领域,对国民经济与社会发展起到了重要的推动作用。

大数据与云计算、物联网的关系

4.物联网产业

     完整的物联网产业链主要包括核心感应器件提供商、感知层末端设备提供商、网络提供商、软件与行业解决方案提供商、系统集成商、运营及服务提供商等六大环节。

 大数据与云计算、物联网的关系

四、 大数据与云计算、物联网的关系

     云计算、大数据和物联网代表了IT领域最新的技术发展趋势,三者既有区别又有联系。三者关系如下图:

 大数据与云计算、物联网的关系