大数据产品测试----统计类产品测试项目总结

时间:2024-03-28 07:04:17

                                                          统计类产品测试总结

 

一、需求背景:

统计平台面向微信小程序、微信小游戏、QQ小程序、QQ小游戏进行数据统计、用户分析,给运营人员提供不同场景下小程序的数据进行分析,分享、二维码、事件,小游戏提供关卡、等级、付费等数据分析,从各个角度帮助运营人员提升留存率。

 

二、整体业务处理流程

大数据产品测试----统计类产品测试项目总结

 

 

整体业务处理流程分析

1)通过配置Flume文件,自定义拦截器,收集Nginx上报的json数据.

2)ETL程序将Flume处理的数据进行脏数据过滤,转成Parquet文件存到hdfs上.

3)Flume处理完的数据一份发送Kafka,SparkStreaming消费kafka的数据,将数据计算发送至Write2Mysql的KafkaTopic

4)将实时所有准备入库的sql通过Write2Mysql消费存储至Mysql.

5)使用SparkSql分析Hdfs上的Parquet数据,计算昨天,7天,30天数据等.

6)使用SpringBoot提供数据访问层,供移动、PC端两部分的数据请求.

(由于数据量过大原因,离线,实时,微服务三部分代码的分库,对数据进行处理,减少数据量过大的处理压力)

3.指标定义背景:

1)新用户数:首次访问人数 ;用户标识:openid(微信)无法删除,uuid 阿拉丁下发,以ifo字段标识,ifo=true,为新用户,ifo=false为老用户,有历史表积累openid标识的老用户,新用户来了先判断,openid是否存在于积累表中,不存在则进行下一步判断,存在则直接标识为老用户。

2) 访问人数:总访问人数,重复访问页面不计数;(新用户+老用户数)

3)访问次数:访问所有页面的总计数;针对于会话而言,用page只要有上报,累加取最大值。

4)打开小程序总数:自主关闭或者超时退出均为一次计数(打开小程序,针对小程序,不针对页面)用session count(at)

5)次均停留时长:小程序停留总时间(所有会话时长累加at)(在小程序停留总时长)/打开次数。

4.功能模块分析:

1)实时分析:实时统计、趋势分析

A.实时分析:对用户分析、行为分析、分享裂变分析

用户分析:包含访问人数、新用户数、累计用户数

行为分析:打开次数、访问次数、跳出率、次均停留时长

分享裂变:分享认数、分享新增、分享次数、回流量

并展示:以上指标的趋势图,通过勾选可按需求显示不同趋势图、展示用户来源:日新增用户来源Top5、日活跃用户来源Top5,以柱状图显示。

B.趋势分析:

趋势分析按不同时间区间各个指标的趋势图,可导出

2)用户来源:二维码分析、场景值分析、智能外链

3)用户行为:页面分析、事件分析、转化漏斗

4)用户质量:留存分析、用户活跃度、用户黏性

5)用户画像:用户分群、地域分析、机型分析、终端分析

6)管理中心:小程序列表、个人中心、账户管理、事件消耗、权益管理、发票管理、账号授权、公告

 

三、测试过程问题总结

1、SDK接入后数据是否正常上报,上报数据有无脏数据,数据能否正常入库

2、数据上报后,是否持续上报,与原始cos数据对比是否有丢失数据情况,前端数据呈现是否正常

3、数据准确性测试,根据指标定义写sql跑cos上数据,查询如:新uv数据,与前端展示数据对比,比较差别,分析是否正常被etl或者flume过滤掉,如果差距过大与研发沟通原因

4、前端基本功能测试,图表展示、数据导出、sdk接入流程

5、测试过程不断与其他竞品对比分析,比较不足,提出优化建议

6、统计类产品注重SDK接入后的转化率,如果SDK接入流程略显复杂,就会影响用户留存与转化,于是在测这部分功能尤为注重用户体验。

7、涉及数据测试,数据安全性比较敏感,要保证客户的数据的安全性,以及测试数据与生产数据的完全分离。