大数据技术原理与应用——林子雨老师MOOC知识点一

时间：2025-05-14 20:39:07
  • 第一次信息化浪潮标志是个人计算机、第二次是互联网，第三次信息化浪潮的标志是：云计算、大数据、物联网技术的普及。
  • 1Byte(字节) = 8bit；
    1KB（Kilobyte，千字节）= 1024 Byte;
    1MB（Megabyte，兆字节）= 1024 KB;
    1GB（Gigabyte，吉字节）= 1024 MB;
    1TB（Terabyte，太字节）= 1024 GB;
    1PB（Petabyte，拍字节）= 1024 TB;
    1EB（Exabyte，艾字节）= 1024 PB;
    1ZB（Zettabyte，泽字节）= 1024 EB。
  • 大数据、云计算和物联网的区别
    · 大数据侧重于海量数据的存储、处理与分析，从海量数据中发现价值，服务于生产和生活；
    · 云计算本质上旨在整合和优化各种IT资源，并通过网络以服务的方式廉价提供给用户；
    · 物联网的发展目标是实现物物相连，应用创新是物联网发展的核心。
  • 大数据、云计算和物联网的联系
    · 云计算为大数据提供了技术基础，大数据为云计算提供用武之地；
    · 物联网是大数据的重要来源，大数据技术为物联网数据分析提供支持；
    · 云计算为物联网提供了海量数据存储能力，物联网为云技术提供了广阔的应用空间；
  • 大数据计算模式
    · 批处理计算（针对大规模数据的批量处理）：MapReduce、Spark等。
    · 流计算（针对流数据的实时计算）：Flink、Storm、S4、Flume、Streams、Puma、DStream、Super Mario、银河流数据处理平台等。
    · 图计算（针对大规模图结构数据的处理）：Pregel、GraphX、Giraph、PowerGraph、Hama、Golden Orb等。
    · 查询分析计算（大规模数据的存储管理和查询分析）：Dremel、Hive、Cassandra、Impala等。
  • 数据产生方式经历的三个阶段
    · 1.运营式系统阶段；2.用户原创内容阶段；3.感知式系统阶段
  • 大数据发展的三个重要阶段
    · 1.萌芽期；2.成熟期；3.大规模应用期
  • 大数据的特性（4V）
    · 数据量大（Volume）
    · 数据类型繁多（Variety）
    · 处理速度快（Velocity）
    · 价值密度低（Value)
  • 人类自古以来在科学研究上先后历经了实验科学、理论科学、计算科学、数据密集型科学4种范式。
  • 大数据带来思维方式的三个转变是
    · 1.全样而非抽样；2.效率而非精确；3.相关而非因果
  • 云计算的三种典型服务模式
    · 1.基础设施即服务（IaaS）；2.平台即服务（PaaS）；3.软件即服务（SaaS）

    • 相关文章