什么时候该做多变量AB测试？

在我们进行AB测试之前，总是需要先做出一个合理的假设，然后根据这个假设设计试验。通常情况下，我们的假设都只会考虑到一个变量，比如广告语的描述、注册按钮的颜色等等。我们认为这个单一的变量会对目标转换产生至关重要的影响，所以围绕这个变量设计多个版本并试验，通过结果分析得到最优版本。然后我们会不断地挑选重要的变量设计并进行新的试验，持续优化我们的转换率，而这些试验都是单变量的试验。

那么单变量试验是否能够在任何情况下都能正确工作呢？答案是否定的。假设我们同时展开了两个试验，分别对广告语描述和注册按钮颜色进行测试，然后我们得到统计数据如下表所示。用户可能出现的情况共有四种。从下表中我们可以知道，试验一出现A版本且试验二也出现A版本时，100个用户转换了60个。

先看试验一，版本A转换情况为130/200，而版本B为120/200，显然版本A是最优版本。而试验二中，版本B以150/200胜过版本A的100/200，所以版本B是最优版本。如果我们分别选择两个试验的最优方案，结果就会是试验一的版本A和试验二的版本B，转换率为70%。但事实上，最优的方案是所有试验都选择版本B，转换率为80%。

通过上面的例子，我们就可以明白单变量试验有时候是不够的。多个单变量试验的最优版本组合并不能得到整体上的最优方案。想要得到整体上的最优方案，就需要进行多变量A/B测试，这样才能得出一个可靠的结果。实际上，多个单变量试验的方案得出错误结果的原因在于多个单变量之间不是完全无关的，他们之间会相互影响，进而影响到试验结果。如果我们假设中的变量之间比较独立，不具有较强的相关性，那么只进行单变量试验是没有问题的。反之，如果变量之间相互干扰，具有很强的相关性，我们就必须选择多变量试验，以确保结果的正确性。

多变量A/B测试会组合出较多的可能版本，为了保证结果的可靠性，就会对流量提出较大的需求。所以在进行多变量A/B测试时，需要确保投入足够的流量。如果流量有限，我们就需要尽可能少地设计变量和版本的数量，仔细考虑，选择出最有效的变量和最可能的版本。