怎样分析AB测试结果？

AB测试结果分析包括统计学分析和业务分析两个部分。

统计学分析

统计学分析是为了确定AB测试结果在统计学角度是否可信。分析时我们首先关注A、B版本对用户行为的影响是否有差别，这通过统计显著性来反映。确定有差别后，我们再看差别有多大，改进效果表示转化率提高（或降低）的幅度，差异区间表示转化率改进的最可能范围。下面我们分别解释各项指标的含义。

统计显著性：优化版本和原始版本之间转化率存在差异的可能性或可信度，数值上等于1减去统计学假设检验中的P值（p-value），P值表示样本间的差异由随机因素所导致的概率。

对于上图中目标“homepage注册”，原始版本的转化率为16.8%，优化版本的为18.2%，统计显著性为83.99%，即两个版本之间转化率的差异有83.99%的可能性是由于优化版本的改动造成。

统计显著性数值所代表的含义：

1. ≥95%：优化版本和原始版本之间有显著的统计差异，转化率的“改进”是可信的；
2. 90%~95%：优化版本和原始版本之间的统计差异存有疑问，转化率的“改进”是存有疑问的；
3. <90%：优化版本和原始版本之间没有显著的统计差异，转化率的“改进”是不可信的；

一般来说，统计显著性要大于95%才认为A/B测试结束，但是，统计显著性达到95%有时需要很长的测试周期，考虑到机会成本，比如为了尽快推出新特性抢占市场先机，统计显著性达到90%也是可以接受的，但需要知道这是有一定风险的。

一种情况，在测试过程中，有时统计显著性可能达到了95%，但继续测试，发现统计显著性又会降到95%以下，因此在统计显著性达到95%后，仍需要继续测试一段时间，发现显著性能够持续保持在95%以上，才可以结束测试。统计显著性的变化趋势如下图所示。

另一种情况，在测试过程中统计显著性始终不能达到90%，也就是两个版本对用户影响的差异不明显，我们观察一段时间后，只能结束测试。统计显著性的变化趋势如下图所示。

 

改进效果：（优化版本转化率 – 原始版本转化率）/ 原始版本转化率，表示优化版本与原始版本相比，转化率提高的幅度。

差异区间：优化版本与原始版本之间转化率差异的置信区间，或者说是最可能分布的区间范围。

注意，差异区间用转化率差异的绝对值表示，而不是相对比率。例如，原始版本的转化率为10%，优化版本的转化率为11%，则转化率的绝对差异为1%，而转化率的相对差异为10%（也就是优化版本相对原始改进了10%）。

上图中目标“homepage注册”优化版本#1的转化率19.6%是有随机误差的，随着A/B测试的继续进行，转化率的数值会有一个变化范围。

准确来说，原始版本与优化版本#1之间转化率的差异在 -1.64%和 +3.50%之间，也就是说优化版本#1的转化率最可能在（18.7% – 1.64%）= 17.06%和（18.7% + 3.50%）= 22.2%之间。通过差异区间来了解优化版本转化率的可能范围，以便做进一步优化。

 

业务分析

在统计学上的可信度确定以后，我们还要对AB测试结果做业务分析。业务分析是为了找到优化版本比原始版本好或差的真正原因，是AB测试结果分析的重要部分。我们要基于自己所从事行业的业务领域知识，结合客户心理、使用习惯、直觉本能、喜好倾向等角度来分析，把数字后面的道理挖掘出来，用来更好指导我们未来的行动。

 

其他指标说明

云眼A/B测试结果面板，还包含独立访客数、访问数、转化数、转化率等指标。

独立访客数：某段时间内访问Web应用、APP的用户数或设备数。

• Web应用：未登录用户可以通过用户的浏览器Cookie、IP地址、设备分辨率、浏览器型号、操作系统等信息判断用户是否为独立访客。比如用户在某段时间内使用不同的浏览器或不同的设备访问应用，将记为多个独立访客。已登录用户，可以通过用户ID识别独立访客数。
• APP：未登录可以通过用户移动设备的型号、操作系统、品牌、分辨率、IP地址等信息来判断用户是否为独立访客。已登录用户，可以通过用户ID识别独立访客数。

访问数：用户使用应用的次数，如果用户连续两次请求界面的时间间隔不超过30分钟，则按1次访问计算；否则，就是2次访问。

转化数：用户触发某个目标的次数，在1次访问中，如果这个目标被触发多次，该目标的转化数只按1次计算。

转化率：转化数 / 访问数，云眼转化率的计算是以访问数为基数，而不是访客数。