黑马智慧学成----1.项目介绍-技术架构

时间:2024-03-21 14:01:51

学习目标:

  • 1.了解项目的背景和项目概述。
  • 2.理解项目的业务流程。
  • 3.了解项目的功能模块。
  • 4.理解项目的技术架构。

1、项目介绍 

       智慧学成项目是对在线教育平台业务进行大数据统计分析的系统,对课程、用户、教育机构三个业务领域进行数据挖掘,采用企业级ETL的规范化研发流程,以及企业级数据仓库建模思想,

对课程、用户、机构三个主题的不同维度进行数据分析,挖掘数据的价值,为在线教育平台运营提供参考数据依据。

       本项目是一个基于微服务与大数据实现的统计系统,后台大数据分析系统根据用户的指标进行统计分析,包括: 课程统计、机构统计、用户统计。

重点业务流程如下图所示:

黑马智慧学成----1.项目介绍-技术架构

黑马智慧学成----1.项目介绍-技术架构

 

2、技术架构

整个系统架构包括:数据源、数据采集、数据清洗,数据存储、数据分析、数据服务,如下图:

黑马智慧学成----1.项目介绍-技术架构

3、采用微服务技术栈

黑马智慧学成----1.项目介绍-技术架构

采集系统使用SpringBoot框架完成。

Kafka作为数据中转,集成各各采集层。

编写Spark程序完成数据清洗任务。

支持数据库、数据文件、网络数据等各数据源的数据采集。
...../.........
 

4、整体功能:

黑马智慧学成----1.项目介绍-技术架构

 

数据服务
采用vue.js+echarts+SpringBoot开发报表系统。数据服务数据存储至MySQL及Redis共其它系统调用。

数据存储
主要使用Hive进行数据仓库建模,包括资源库数据,主题库数据和业务库数据,以及为支持复杂业务而创建的中间数据库等。
对于需要即时查询的数据存放在Hbase和Elasticsearch中

数据分析
数据离线分析:主要通过使用SparkSQL实现对历史数据分析;
数据实时分析:主要使用SparkStreaming实现对实时数据的处理及分析;


1.日志服务器采集用户行为数据保存到hdfs中/NiFi采集业务数据

⒉.根据采集的原始数据数据进行清洗
3.根据清洗的结果进行统计分析

4.统计分析的进行数据存储
5.结果数据提供给业务使用:报表系统展示