文件名称:数据云工程项目:用于构建数据湖,数据仓库和分析平台的数据管道
文件大小:1.92MB
文件格式:ZIP
更新时间:2024-03-04 08:43:23
Python
数据/云工程项目 项目1:使用Postgres进行数据建模 在这个项目中,我将数据建模与PostgreSQL结合使用,并使用Python构建了ETL管道。 一家初创公司希望分析他们在新音乐流应用程序上收集的歌曲数据和用户活动数据。 当前,数据以JSON格式收集,并且分析团队对了解用户正在收听的歌曲特别感兴趣。 链接: 项目2:使用Cassandra进行数据建模 在这个项目中,我将Cassandra应用于数据建模,并使用Python构建了ETL管道。 我围绕要获取答案的查询建立了数据模型。 对于我们的用例,我们要执行以下操作: 获取在特定会话期间在音乐应用程序历史记录中出现的歌曲的详细信息。 获取用户在音乐应用程序的特定会话期间播放的歌曲。 从音乐应用程序历史中获取所有听过特定歌曲的用户。 链接: 项目3:数据仓库 在这个项目中,我应用了我们学到的数据仓库架构,并在AWS云上