确定假设后，就可以设计实验了。实验设计是决定实验实施成本的关键。实验的设计和范围决定达到统计显著性所需的时间。有关详细信息，请参阅实验类型。
使用此信息来考虑：
流量或实验时长是否足够证明这个实验的结果？是否还有其他更有影响力的想法可以尝试吗？
是否应该减少变体的数量以加快实验速度？如果是这样，如何重新设计这个实验？
是否应该增加变体与原始变体之间的差异程度以更快地达到统计显著性？
如何设计变体以实现主指标的最大化提升？
称为最小可检测效应 （MDE） 的统计计算可以将成本与实验设计联系起来。通过它可以对实验参数做出明智的决定。
还可以使用 MDE 确定实验的优先级，并作为实验路线图的一部分。
怎样使用 最小可检测效应 （MDE）？
最小可检测效应 （MDE） 是一种计算方法，用于估计您愿意检测到的最小改进。它决定了实验的“灵敏度”。
在给定以下条件的情况下，使用 MDE 估计实验所需的时间：
- 基准转化率
- 统计学显著性
- 流量分配
可以使用 云眼 样本数量计算器进行此计算。
例如，假设这些参数：
您的基准转化率为 15%。
您希望将统计显著性度为 95%。
您希望至少检测到 10% 的提升（这是您的 MDE）。
根据样本量计算器，每个变体需要 ~8,000 个访问者才能达到统计显著性。
实际上，您事先并不知道实际的升降机。通过以给定的确定性来估计要检测的最小提升量，您可以为在此实验中投入的流量或时间建立界限，从而更准确地规划和确定实验范围。
例如，您设计了具有四种变体的上述实验。您的网站平均每周有 10,000 名独立访问者。如果您向 100% 的访问者展示此实验，则可能需要 3.2 周才能达到显著性。
每个变体 8,000 个访客 x 4 个变体 = 32,000 个访客
32,000 名访客 / 每周 10,000 名访客 = 3.2 周
考虑流量和时间是否值得，以及如何设计更快的实验。
最佳实践
下面是使用 MDE 设计实验的一些最佳做法：
- 使用潜在的业务影响来决定实验的敏感度 – 许多程序以速度换取不太敏感的实验。如果转化事件与收入直接相关，则对较低 MDE 的渴望可能会增加。这种低 MDE 实验需要更大的流量，但即使是少量的创收目标提升，积少成多，也能产生很大的影响。
- 使用 MDE 作为指导而不是精确的预测 – 实验这个概念本身就意味着不知道给定的更改将产生什么效果。与其关注 MDE，不如通过计算，为愿意投入的时间和预期产生的价值设定界限。
- 设计有影响力的变体 – 如果需要流量，请考虑将变体范围界定为直接影响主要转化事件的更改。