总结:
(2017年10月24日,今天19大闭幕)
本次试验统计显著性没能达到95%,原因看似流量不足,样本数不够,但是,仔细想一下,如果改进的幅度大一些,比如原始版本转化率6%,优化版本转化率达到9%(提高50%),需要多少访问样本量呢?720,这是一个很容易达到的数值,每天100个访问,一周就可以完成。
因此,创新!对于刚开始运营的网站和App,创新尤为重要。有云眼AB测试保驾护航,您尽可以放心大胆的创新,因为云眼能够让您快速准确的判断方向,确保每个创新都取得正向结果,而不是相反。
第12天:开始准备下一个试验
(2017年10月20日)
三个召唤语的转化率分别:6.5% : 7.2% : 5.8%。统计显著性:版本2是59.70%,版本3是63.20%,可信度不够。我们开始准备下一个试验。
第11天:重新估算,以便做出决策
(2017年10月19日)
三个召唤语的转化率分别:6.5% : 5.6% : 5.8%,原始版本领先。但是统计显著性:版本2是63.62%,版本3是61.95%,可信度不够。统计显著性达到95%需要多少时间呢?
我们只要计算一下需要多少流量,然后除以每天的流量,就知道要用多少天了。
可以用云眼AB测试小工具中的AB测试样本数量计算器来计算一下,发现每个版本需要11,000个访客样本,积累这么多样本对于目前的云眼平台还是需要很多时间,既然如此,我们就只能接受不可靠的结果了。
第10天:看似有区别,但可靠度不够
(2017年10月18日)
三个召唤语的转化率分别:6.5% : 6.2% : 5.5%,区别还是有的,但是,统计显著性:版本2是53.82%,版本3是65.57%,可信度不够。继续试验到本周末看情况怎样。
第9天:没有区别,也是一个结论
(2017年10月17日)
三个召唤语的转化率分别:6.2% : 5.6% : 6.0%,彼此比较接近。统计显著性:版本2是58.96%,版本3是53.68%。未来几天如果数据继续这样,说明三个召唤语区别不大,对客户的影响没有显著差异。我们再试验几天看。
第8天:分析原因,反思教训
(2017年10月16日)
三个召唤语的转化率分别:6.0% : 3.7% : 6.2%。统计显著性:版本2是81.83%,版本3是53.95%,局势仍不明朗。这个试验可能需要比较长的时间了,原因主要两方面:1)三个召唤语很相似,区别不大,可能对客户的影响真的没有区别;2)云眼毕竟是2B的网站,不如2C的网站流量大,所以需要较长的时间积累样本。
这次也得到一个教训,本来网站流量不是很大,却同时3个版本对比试验,每个版本流量更少,因而需要更长的时间。下次试验,只做两个版本的对比就可以了。
第5天:完善设置,排除干扰数据
(2017年10月13日)
A/B测试一般是在用户不觉察的情况下进行,但是前面几天很多来自微信朋友圈的访客,已经知道自己在参与试验,这样的数据对试验结果可能有干扰。我们现在对试验设置做一些修改,变为仅对PC访客进行试验。同时,我们加大搜索引擎广告投放,引流量,扩大样本数据。由于我们能够排除干扰数据,所以请大家不要顾虑,继续尽情转发!
我们这次试验的一个重要目的是让更多人了解A/B测试和A/B测试的实施过程。无论本次试验的结果如何,这个目的或多或少会实现。
目前,三个召唤语的转化率分别:6.3% : 4.1% : 5.3%。统计显著性仍然徘徊在60%~80%之间,局势依然不明朗。
第4天:样本不足,需要继续积累
(2017年10月12日)
目前,三个召唤语的转化率分别:5.0% : 4.6% : 5.6%。统计显著性很低,局势仍然不明朗,主要原因是样本数据不够。希望大家继续转发!
第3天:混沌未开,结果需耐心等待
(2017年10月11日)
首先再次感谢大家的热情转发,云眼网站今天访问量再创新高!
截止目前,三个召唤语的转化率分别是:5.3%,5.6%,6.2%,第三个召唤语暂时领先。但是,由于统计显著性数值(53.31%和60.92%)都低于95%,结果仍是不可信的。
这里解释一下“统计显著性”,它是统计学里的一个概念,表示两个样本数据有显著区别的可信度。统计显著性需要在95%以上,才表明两组样本数据有显著区别是可信的。
试验什么时候可以结束呢?统计显著性超过95%并能够保持,就可以结束试验了。
如果试验做了很长时间,但统计显著性总是无法达到95%,怎么办?这说明A、B两个方案没有区别,只能中止了。我们本次试验也不排除出现这种情况。
样本量越大,得出结论的速度就越快,烦请大家继续努力转发!
三个召唤语每天转化率变化趋势图如下所示。
【问】这个召唤语是不同版本的网页吗还是什么?
【答】是三个版本的网页,用一个地址,有的人看到的是版本1,有的人看到的是版本2,有的人看到的是版本3。
【问】试验实施起来麻烦吗?
【答】用云眼完成这个试验的配置只需要5分钟。
【问】所有的都能做?猪八戒网店这些也能测试吗?
【答】我们即将推出一个新产品,用这个产品你可以把猪八戒网店页面改出多个版本,然后发布到朋友圈、聊天群、qq群、微博等,试验看哪个版本好,找到好的版本后,你就可以照着修改猪八戒的店铺了。任何平台上的网页都支持:淘宝、京东上的产品介绍,苹果应用商店的app介绍等等。
第2天:圈内热转,访问量暴增
(2017年10月10日)
感谢大家的热情转发,云眼网站访问量今天暴增!
从今天的试验结果看,3个召唤语的转化率分别是:7.5%,9.7% ,5.6%。第2个召唤语暂时领先。以第1个召唤语为基准,另外2个召唤语的统计显著性目前只有62.65%和64.57%,说明结果的随机性很大,还不能得出可靠的结论。
希望本试验能够在2~4周得出较可靠的结论,敬请大家耐心等待。
由于3个召唤语的区别不是很大,因此需要比较多的样本数据,再次烦请大家努力转发!
第1天: 灵光闪现,三个召唤语开始PK
(2017年10月9日)
A/B测试实战上演,三个召唤语大PK,哪一个是胜者?我们拭目以待!
创意满怀,何不一试?
vs
好创意还不试一试?
vs
好创意快来试!
请将云眼官网尽可能多的转发给:
互联网市场推广、运营、产品经理、数据分析师和开发工程师,
看他们对哪个召唤语最有反应!