区域电商生态经济解决方案提供商
一站式服务:顶层设计、品牌运营、招商、电商培训、孵化器运营、物流园区运营!

免费专家咨询:
400-660-6095
当前位置:首页 >> 电商培训 >> A/B测试究竟有什么好处

A/B测试究竟有什么好处

来源:中国县域电子商务孵化联盟发布时间:2016-10-21 8:57:23点击量:

  这是Airbnb的数据,可以看到数据一直在增长。其中可以看到,中间有一个红色的时间段,大概维持了小一个月的时间,这个时间段发生了什么?Airbnb上线了一个新的产品功能,到结束的时候又下线了。
  在这个红色的时间段,数据一直都是在增长。有个很大的问题就是外界环境对数据的影响太大了,以至于在这张图里我们完全无法知道,这个上线了一个月的产品功能对用户产有没有产生增长的影响,以及究竟是怎样的增长?
  所以如果没有A/B测试,没有科学的验证,可能在产品,运营和市场策略上,会做一些不科学的决策。也许有个决策带来了-20%的不好影响,但是我们不知道,因为我们没有实验验证它。或者是后台技术人员毫不容易研发出来一个推荐算法,提升了5%的订单量。但是我们并不知道是因为它们带来了5%的订单量。这样的话,我们就失去了这种宝贵的经验。
  从这张图可以看出来,只有A/B测试才能告诉我们,产品功能上线前后究竟会有怎样的影响?假如每一次产品迭代,策略上线的时候,都经过A/B测试的优化,那么增长曲线可能就跟这条蓝线一样。也许不是我们最喜欢的指数增长或线性增长,但它始终在增长。
  如果没有A/B测试,可能会像红线一样不断地波动,在短期之内可能红线蓝线差不多,但是时间一长,红条会被蓝线远远甩下,这就是A/B测试驱动持续增长,也是Google的最佳实践。
  A/B测试的具体操作方式是什么样的?
  要考虑随机流量的选择,怎么同时支持多个变量,单个变量,多个实验,单个实验?怎么能够比较方便地选择实验版本,知道多长时间才能得到可信的结果?如果没有好的统计工具,执行区间算得不对,实验结果也就不准确。
  这个时候你就可以考虑使用第三方的A/B测试工具。在产品或者营销业,想要接入第三方A/B测试SDK,工作就可以专心到设计迭代方案上去。这些方案通过第三方平台就可以发布给用户或者消费者,然后自由调整实验流量,让1%的用户试试这个方案,5%的用户试试那个方案,根据数据反馈,分析方案的好坏,这就是A/B测试实践中的方法。
  正确、高效的A/B测试是什么样的?
  一个产品经理一天能做几十个A/B测试,七天下来就能做上百个。一百个实验里面六七十个既不提升,也不降低转化率。可能有十几二十个,你觉得它好,它其实是坏的,你也可以吸收教训。只有几个比较好,你可以发布给用户,最后带来20%的营收。如果一个星期有一个提升20%的实验,或者几个实验加起来20%,一个半月之后你就可以领先竞争对手一倍了。
  通过第三方的A/B测试平台,可以轻松开展实验,包括实现简一的改版,一键发布做很多的QA测试,抢流量,一键回滚,如果发现了bug立即关闭实验。实时获取准确的实验结果,加快执行区间的收敛,支持大量并发实验等等。
  尽量不要自己去构建这套系统,很多企业自建成功了都是耗费至少两年以上的人力物力,好几千万的支出,而且还可能遇到各种bug。

 

全部评论

0我要评论>>

发表评论

已有0条评论,共1人参与
评论内容:
验 证 码: 验证码 换一张 * 请正确输入图片中的字符,不区分大小写

推荐信息