京东零售流量数仓架构建设

【文件属性】：
文件名称：京东零售流量数仓架构建设
文件大小：1.15MB
文件格式：PDF
更新时间：2022-08-23 14:04:41
京东 零售 流量 数仓 本次分享主要从三个方面介绍京东流量场下的数据处理方案，同时也会结合京东实际场景案例，介绍京东在流量场下的一些数据应用和实践。 全文会围绕以下三方面内容展开： 京东零售流量数仓架构 京东零售场景的数据处理 数据处理架构未来探索 1. 京东零售——流量简介 ① 什么是流量？ 简单来说，流量就是用户作用在京东页面上，产生一系列行为数据的集合。 ② 流量数据的来源 数据来源主要是移动端和PC端，以及线下店、外部采买、合作商的数据等。 这些数据是如何流转到数仓的呢？ 2. 京东零售——流量数据处理架构 由架构图可以看出，对不同的终端采取不同的采集模式；例如，对APP原生页面采取SDK的采集模式，对于PC、H5页面是JS采集，数据采集后按照实时和离线双写，离线直接写到CFS分布式文件系统中，每小时从CFS拉取数据文件，同时对数据文件大小、采集ip进行监控，防止数据丢失；实时是以白名单的方式动态配置，写到kafka中，最后将数据入仓。