产品经理如何用数据驱动产品迭代?
样本量计算器 灰度开放的用户中选取用户作实验组,老版本用户中选取用户作对照组。 具体的选取方法要灵活,就像我们上学时候的一种物理实验方法-控制变量法,不同的实验目的,要控制不同的变量,根据控制的变量选择合适方法。 eg: 我要验证两组用户在详情页的行为,所以我随机选取灰度开放中访问详情页的n个用户,定为实验组,再随机选取n个老版本中访问详情页的用户,定为对照组,观察分析这两组流程转化率。 2. 分析验证指标项目指标:方向指标和约束指标 从实际表现来看,方向指标虽然未达预期,但也起到了较好的效果,大幅提升了详情页 → 下单页的转化率,但是!但是!但是不要着急,这并不代表这一定就是正向的解决方案,我们还要跳出项目本身,看一下整个产品的指标变化,不能因小失大呀。 产品指标:北极星指标 北极星指标可能回报期比较长,比如利润还要等合作商家的回款才能提升,所以北极星指标可能会存在延迟变化,我们有时候也要提前考虑到这个特性,避免我们错误认为一顿操作猛如虎,一看战绩0-5。 项目指标表现很好,但是产品指标不一定会表现好,需要我们全局来看。 比如我优化的是儿童电话手表品类的详情页(不同品类的详情页会不一样),家长都给孩子去买儿童电话手表了,导致儿童手机品类卖不动了,由于儿童手机客单价远高于儿童电话手表,导致产品整体利润下降了,产品指标倒退,也不是没有可能啊。 所以,一个项目上线之后,不仅要分析项目本身的ABtest结果,还要考虑产品大盘影响,项目指标和产品指标都要兼顾到。 项目指标和产品指标是我们在设计方案时就想到的,但现实就是这么有意思,经常会给你surprise~冒出来你意料不到的数据波动,还是拿例子说话~ 比如实验组的用户流失率要明显高于对照组,这是之前我们没有想到的,这时候就有可能用上我们之前说的行为指标,来辅助我们分析原因。 首先要知道:数据会告诉我们怎么了,不会告诉我们为什么。 我们观察用户行为后发现:大部分流失用户最后一次操作都是查看退货进度,那我们就可以提出假设:用户是因为退货率增高导致流失率的提升,因为用户退货这件事是比较挫败的(甚至是对平台不满意),导致对产品的满意度和好感直线下降,然后流失。假设是否正确,就需要通过用户调研等手段再去验证了。 所以,除了可预期到的指标外,还要注意从天而降的其他指标波动,及时找出波动原因。 关于上线策略,有两个注意事项: 1.灰度时间不宜过长,尽快得出实验结论,避免新版本负面效果影响用户; 2.如果条件允许,保留一小部分老版本用户,即不完全全网开放,因为灰度上线时间较短,新版本用户可能会因新鲜感而表现出了正向的数据结果,但从长期行为来看不一定优于老版本,所以留一小部分老版本用户作为对照。 因为互联网产品具有大数据量和快速迭代的特点,所以产品经理在懂用户和业务之外,利用数据做好ABtest非常重要,快速试错和调整,做到小步快跑。 六、最后总结一下,数据驱动产品迭代的步骤
本文素材来自互联网 (编辑:云计算网_泰州站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |