字节如何利用A/B实验提升产品用户留存?

时间:2022-12-08 14:08:33

  导读:产品增长中最为经典的模型为 AARRR 漏斗模型,该模型追求最大化拉新,第一步“获客”(Acquisition)环节最为受到重视,而后在“激活、留存、营收、推荐”环节中不断优化转化率,实现用户增长。

  但当流量红利见顶,用户拉新难度和成本倍速上升时,RARRA模型适时出现,新的模型将“用户留存” (Retention) 视为了第一关注点,用户留存在产品增长中的重要性上愈加凸显。留存高,说明产品更能真正满足用户需求,当红利时代过去后,在好产品的基础上做拉新才有意义。  

字节如何利用A/B实验提升产品用户留存?

  本文将围绕“提升新用户”留存这一关键点展开,以视频 APP 优化的真实故事为例,讲述字节的产品团队如何使用 A/B 测试产品 DataTester 设计 A/B 实验,并显著提升了该 APP 的新用户留存。本案例也是字节跳动在多年的 A/B 实验历程中,一个具有故事性的案例。

  读完全文你将可以知晓:一个 A/B 实验的全生命周期是什么样的,以及如何设计和评估一个 A/B 实验。

   01 第一轮 A/B 实验:理想很丰满,结果却很骨感

  整个案例由针对该 APP 新人引导环节的两轮 A/B 实验组成,第一轮 A/B 实验以“失败”告终;在第一轮实验的基础上,字节跳动的产品团队又进行了第二轮实验,最终获得了成功,显著提升了新用户的留存。

  该视频 APP 的使用方式与抖音类似,用户在使用该视频 App 时,可以通过在屏幕上进行[上滑]操作,来让当前视频跳转至下一视频。在这过程中,新用户会看到一个「上滑引导」的指示,该引导的主要作用是告知新用户:可以通过「上滑」方式跳转至下个视频。

  由于当前的上滑引导由静态的手指图片及提示文案组成,展现时间比较短,整体上并且没有呈现出很明显的“提示上滑”的效果。这就意味着因新用户很可能看不懂这个提示,进而并没有学会如何使用该 APP,也就无法体验到产品的核心价值,最终流失。

  初始引导式样如下图所示:  

字节如何利用A/B实验提升产品用户留存?

引导样式1

  因此产品团队希望能够通过 A/B 实验,优化“手指上滑”动作在产品界面中的引导。

  他们认为,如果让更多新用户用户在初次使用 APP 时就看懂提示,学会正确地「上滑」,预期对新用户的留存会有提升。因此,该产品设计了新的「上滑引导」方式,并通过 A/B 实验对新方案的效果进行评估。

  1. 实验方案设计:半动态式的引导样式

  在明确了产品目前的问题和改进的方向之后,该产品设计了一版改进方案,可以看到,为了加强引导效果,这一版本的「上滑引导」采用了半动态的方式:基础提示文案固定,屏幕最底端的指示条呈现出自下而上“滚动渐变”的动效。  

字节如何利用A/B实验提升产品用户留存?

引导样式 2(产品界面里为动态指示)

  为了验证新方案的效果,该产品团队制定了在 DataTester 上开设 A/B 实验的方案,并明确了实验中需要关注的指标和预期值。

  目标人群:

  针对 APP 版本号最新的用户开启实验。

  实验变量:

  对照组 A:线上版本,即实验背景中所提及的引导样式1;

  实验组 B:采用新样式,即引导样式2。

  指标及预期:

  实验开启前,实验者需选定关注的指标,并确定这部分指标变化的预期值,这对于确定实验所需的进组流量以及后续分析实验效果,都有着至关重要的意义。

  在本实验中,「是否学会切换至下一视频的正确姿势」对「新用户是否留存」有直接或间接影响,因此,将「新用户留存」作为评判本次实验是否成功的核心指标。该产品希望:经由版本改动,新用户留存可提升 0.5% 且显著;同时,该产品的其他核心指标需无显著负向表现。

  除此之外,由于「上滑引导」改动会直接影响新用户尝试切换视频的操作方式,因此,将新用户「正确进行上滑操作」的渗透率和「错误操作」(如进行了下拉刷新、点击首页/推荐按钮等)的渗透率作为评估实验效果的直接指标。预期正确操作渗透率提升 1% 且显著;错误操作渗透率降低 1% 且显著。

  流量与周期:

  本次 A/B 实验,产品组在 DataTester 中设置了 10% 的线上流量,对照组和实验组各占 5%。实验周期为 1 个月。

  2. 实验结果分析:功能渗透率呈负向

  在实验运行了一段时间后,在 DataTester 的界面中,可以看到实时的实验数据分析。从指标表现来看:

  衡量实验是否成功的核心指标——新用户留存,未见显著提升;  

字节如何利用A/B实验提升产品用户留存?

(*虚拟数据)

  直接效果指标:

  新用户进组当日「正确操作-上滑」的渗透率下降约为 1% 且显著,与预期不符;

  新用户进组当日「错误操作-下拉刷新」的渗透率下降约为 1% 且显著,符合预期;

  新用户进组当日「错误操作-点击推荐/首页」的渗透率提升约为 1.5% 且显著,与预期不符;

  随后,数据分析师对指标表现进行了进一步分析:

  (1)对「正常操作-上滑」影响:将「上滑操作渗透率」按地区进行多维下钻后,分析师发现,经济发达地区用户的渗透率普遍更低,对「上滑引导」的理解更差。这听起来很奇怪,经过分析师的推断,导致这一现象的原因可能有两点:

  经济发达地区用户互联网更发达,对观看新用户引导的耐心更低,导致对上滑引导的理解更差;

  经济发达地区用户受常用 APP 操作习惯影响大,对新的操作方式不能很快适应,因此渗透率普遍更低;

  (2)分析「错误操作」的影响:

  经用户行为分析,「错误操作-点击推荐/首页」显著提升,原因是用户未能理解「上滑引导」中所提示的操作,反而去尝试了点击推荐/首页 Tab。

  3. 第一轮A/B实验结论:本次改动无显著收益

  经由上述分析,字节跳动的实验团队得出结论:

  核心指标没有显著收益,关闭实验,功能下线;

  直接效果指标负向,此次实验中上线的功能并没有达到预期收益,许多新用户对于这一功能仍旧存在理解障碍,需要探索更好的引导样式。

   02 第二轮A/B实验:进化和迭代

  1. 实验方案设计:全动态引导样式

  由于上一次的 A/B 测试结果并不理想,字节跳动的产品团队基于上次实验结论,又进行了详细的调研分析,再次设计了全新的「上滑引导」样式。

  新的「上滑引导」使用了动态引导的方式,并且对文案进行了优化。引导方式从第一版实验中的半动态指示条,改为一段悬浮于屏幕之上的动画,动画中直接演示出上滑屏幕这一动作;同时,文案也由前一版的“向上滑动查看其他视频”更改为“向上滑动以获取更多视频”。

字节如何利用A/B实验提升产品用户留存?

引导样式 3(产品界面里为动态指示)

  字节跳动的产品团队在 DataTester 中配置了新的 A/B 实验。

  对照组A:当前线上版本,即实验背景中所提及的引导样式1;

  实验组B:采用新样式,即引导样式3;

  在指标与预期、流量与实验周期方面,第二轮与第一轮保持了一致。

  2. 实验结果分析:指标正向收益明显

  在实验运行了一段时间后,他们再次来到 DataTester 的数据分析界面,查看实时的指标表现情况:

  分析两组实验发现,新的方案——实验组B对比对照组A,在人均使用时长、人均视频播放量上,有了非常显著的提升!

  实验成功指标——新用户留存提升约 1%-1.8%,且指标结果呈显著,符合预期;  

字节如何利用A/B实验提升产品用户留存?

(*虚拟数据)

  其他核心指标:

  人均时长、人均视频播放量均有提升,且呈显著;

  直接效果指标:

  新用户进组当日「正确操作-上滑」的渗透率提升且显著,幅度约为 1.5%,符合预期;同时实验证明了:教会新用户上滑操作对新用户留存有明确的收益;

  分地区多维分析:

  鉴于初次实验发现发达地区用户对上滑教育的理解度更差,因此需要进一步分地区分析用户对于实验组策略的理解:

  经济发达地区:上滑功能渗透率提升且呈显著,新用户留存提升且呈显著,幅度约 2%,比实验组平均水平提示更为明显。说明新引导功能的教育作用有明显的收益;

  经济非发达地区:上滑渗透率无显著提升,新用户留存无显著提升。

  3. 第二轮 A/B 实验结论:收益显著 全量上线

  在第二轮 A/B 测试结束后,新的方案在该 APP 上全量上线了。后续字节跳动的产品团队观察发现,仍有一定比例的新用户看过视频但没有进行上滑操作。经进一步的下钻分析,他们发现经济发达地区这类用户占比更高,后续将对这部分用户行为进行持续观察,挖掘是否有进一步教育的空间。

  上方的案例为大家展示了一个完整 A/B 测试生命周期的全过程,实际上,该实验也是字节跳动在众多的 A/B 测试中比较有代表性的案例。

  DataTester 产品介绍:

  案例中使用到的 A/B 实验平台 DataTester ,是字节跳动自研的 A/B 实验平台。截至 2022 年 8 月,DataTester 已在字节跳动内部累计完成 150 万次 A/B 测试。DataTester 集成了字节内部丰富的业务场景中的 A/B 测试经验,并已通过火山引擎,面向外部企业客户开放服务支持。