在做AB测试时，我们会有一个担心，转化率的改变真的是源于优化版本上的修改吗？虽然可以看到优化版本转化率与原始版本转化率是不同的，但我们不能判定这是由随机误差引起，还是两者真的有实质上的不同。
统计显著性，也叫统计学显著性，是云眼A/B测试结果分析里的一个重要指标，它能告诉我们优化版本转化率与原始版本转化率相比，两者有差异的概率有多大。换句话说就是，它能回答优化版本上的改变是否真的对转化率产生了影响。
云眼统计显著性指标的数值等于1减去统计学假设检验中的P值（p-value），P值表示样本间的差异由随机因素所导致的概率。
本文以下部分试图帮助具有基本统计学常识的人快速了解统计显著性所代表的含义。
首先，我们要知道，用同一版本多次做转化率测试，每次得到的转化率数值往往是不同的，但是这些数值会遵循正态分布。这对页面的原始版本和优化版本都同样适用。
如下图所示，如果两个版本转化率的正态分布完全分开（实线代表原始版本，虚线代表优化版本），没有任何重叠的部分，那么我们就说统计显著性是100%，并且认为两个版本对转化率的影响有明显差异。
事情如果总是像上图所示那样，那么问题就简单了。不巧的是，实际上上图的情况是极少发生的，多数情况是两个版本转化率的正态分布是有重叠的。
我们云眼设置的正态分布的置信度是95%，即是上图中α部分（面积占整个正态分布的5%），绿线左侧正态分布的面积是1-α=95%。优化版本转化率正太分布图落在绿线左侧部分的面积，代表了优化版本转化率与原始版转化率相同的概率。
如下图所示，β部分落在了绿线的左侧，β部分的面积占优化版本转化率正态分布总面积的5%，表示优化版本有5%的可能转化率与原始版本转化率一样。这种情况，我们说统计显著性的值是1-β=95%。
如下图所示，β部分面积是优化版本转化率正态分布的22%，落在了绿线的左侧，则统计显著性的值是1-β=78%。
明白了上面的分析，读者可以自行画出其他各种情形。
分析以后，我们会看出以下一些规律：
- 如果两个版本的转化率差别很大，往往不需要很大的样本数，就可以让统计显著性达到95%以上。
- 如果两个版本转化率差别很小，就需要很大的样本数，才有可能让统计显著性达到95%以上。
- 如果两个版本转化率差别很小，并且虽然样本数已经很大很大，但是统计显著性就是无法达到95%，那就说明页面的改变对转化率的影响不明显。
想体验一下如何计算统计显著性，可以试一下AB测试结果分析工具。另外，还可以参阅A/B测试结果分析。