为了设计和交付用户喜爱的产品与服务，业界领先公司的开发团队已经将AB测试作为一项关键业务流程。工程师和产品经理被授予一项职责：在受控环境下对每个新的产品功能/特性进行A/B测试，在产品在对公众发布前确定每项新的功能特性对关键业务指标（比如用户参与度、产品可用性、业务收入等）的影响。
为了支持以试验为导向的产品开发，以及基于AB测试的决策机制，一套完善而复杂的AB测试软件是必不可少的。
根据每个公司的实际情况和需要，可以采取如下方案来建立AB测试系统：
- 自己搭建A/B测试框架
- 集成开源解决方案
- 投资购买产品化的AB测试商业平台
哪种解决方案更合适呢？可以从以下四个方面进行分析和判断：
1. 统计严谨性：对系统及其产生的结果是否有信心？
如果平台实现得当，试验可以帮助团队快速确定哪些功能和变更能够成功推动业务的发展，哪些则相反。好的团队能够接受失败，并尽快重现并找出问题，以便为成功拓展出有效的想法。为了尽可能早的发现问题，团队需要相信AB测试试验被正确的创建和运行，并且试验结果也是准确的。
然而，许多公司低估了可靠收集数据和统计分析数据的难度。当事件未被正确的追踪，或者分析经常中止运行时，会导致试验速度下降和延迟。
在很多组织中，设置样本的大小与分析结果的责任通常归于数据分析团队。随着试验在多个团队中扩展，他们的进度逐渐成为瓶颈。
2. 易用性：系统对开发团队来说是否容易集成？对业务用户来说是否容易使用？
最好的团队每年都会进行数千次试验，以最大限度的提高学习机会。技术与非技术用户之间的可用性可能是一年中运行几个实验和成百上千个试验的差别。
在多数产品团队中，开发者需直接将测试集成在代码库中实现，因此他们通常会对AB测试解决方案的选择做初始决策。许多开源工具或自建系统在开始时整体在代码中运行，这意味着每次试验的最新变更都需要进行部署，并且在没有从数据库中抽取数据和没有亲自分析报告的条件下，产品经理或分析师很难理解运行中试验的状态。
确定系统是否为业务用户提供访问接口，系统是否包含远程配置工具和易于理解的操作界面。这些特性能够帮助团队将试验与部署分离，并提供跨组织的试验透明性，从而提升试验的速度。
在开发人员生产力方面，也应专注解决方案的功能，如多语言支持且内容详细的文档。这将让开发团队花费更少的时间来确定如何运行测试，并且有更多时间来处理面向客户的功能特性的工作上。一个强大的决策方案，应包括能够自动化执行特定任务，或者更深入的地集成到开发团队工作流程的API。
3. 总体成本：系统将如何开发，未来如何维护？
使用自建平台或采用开源框架通常在前端开发的投资相对较少。然而，随着时间的推移，由于更多的客户端和服务器端开始使用该测试平台，需要增加越来越多的功能以及定制化，因此维护该平台的负担将会分散工程师对核心产品的关注。
为了避免不可遇见的维护成本，除了需要确保了解团队的初始功能需求外，还需要预算修复bug的时间和考虑之后需要的更为复杂的功能。需要考虑到是否要运行互斥的实验，或者使用高级的定位功能，确定这些高级功能的定制化方式，并且估算构建和维护它们所需要的资源。预测工程和维护的组织宽带，不仅为最初的开发阶段做出计划，更要考虑日后的升级和维护。为自建或是购买的决策获取更多信息，确保在团队需要的时候能够提供关键功能。
4. 人员与流程：谁将在公司内部传播试验的文化？
成功的试验即是文化，也是技术。顶级团队投资于人员和流程，以确保创新文化的扎根，让数据驱动的决策成为常态。
无论决定自己构建试验平台，还是投资于商业解决方案，都必须有合适的人员和流程。组织中需要有负责定义关键指标并在公司范围内倡导试验文化的成员，无论哪种方案，都要确保为这些核心成员带来最大价值和收益。
云眼AB测试系统不仅有SaaS平台，也有私有部署版本，能够在各种云计算平台上安装部署，简便高效、功能强大，适应各种企业规模的需求。