选择 QA 测试

云眼About 3 min

描述不同的 QA 选项，并提供云眼灰度发布（特性标帜）AB实验中 QA 的最佳做法。

测试内容的最佳做法

自动化 QA 测试的传统方法不会使用大量灰度发布（特性标帜）进行扩展。如果你尝试对每个标帜及其变体的每个组合进行单元测试、集成测试和端到端测试，你将得到大量的测试。

概括地说，下面是一些有选择地自动执行测试的指南：

单元测试应与灰度发布（特性标帜）无关。如果单元测试必须知道标帜，则模拟和存根标帜。
集成测试还应尽可能少地了解灰度发布（特性标帜）。专注于单个代码路径，以确保正确的业务逻辑和集成。使用模拟和存根强制要测试的特定标帜变体例如，可以将 Decide SDK 调用模拟为在集成测试中始终返回 true。
手动验证成本高昂，因此请为业务关键型变体和标帜保留人工 QA 测试人员。
端到端测试的编写和维护成本最高，因此请仅为业务关键型实验或标记路径保留这些测试。包括一个测试，用于检查启用所有灰度发布（特性标帜）时会发生什么情况。包括另一个测试，以检查系统是否可以在不太可能发生的标帜系统出现故障的情况下正常降级。

有关云眼功能实验如何使用这些工具的了解，请参阅有关自动化测试灰度发布（特性标帜）open in new window的博客

	允许列表	受众群体属性 =“质量检查”	强制变更
粒度	标记变量标记变体实验	实验	标记变体
示例用例	开发过程中模拟将测试运行程序列入允许列表，以便始终看到希望测试断言的变体。	开发过程中的模拟自动化网页用户界面测试手动网页用户界面测试	测试在行为驱动开发（BDD）框架上运行
易于使用	简单。它可以覆盖所有其他配置，允许在 QA 时保持预期的标帜规则配置不变。	中（需要更改一些标帜规则配置）	难
适用于	A/B 实验	A/B 测试交付	A/B 实验
评论	每个实验只能使用 10 个用户 ID（如果允许更多用户 ID，则会扭曲实验结果）	两个简单的实现方式是受众匹配： 1. URL 查询参数； 2.一块饼干	保持实验数据整洁

上述 QA 工具适用于已在运行或已启用的标帜规则。但是，如何防止最终用户接触到正在开发、正在运行的实验呢？可以：

另一方面，当您完成 QA 并准备好使用真实数据进行实验时，希望放弃 QA 测试人员触发的事件。您不希望他们的测试显示在结果页面上。云眼灰度发布（特性标帜）AB实验尚不支持在将实验从非生产环境中运行切换到产品环境时自动丢弃数据。相反，如果“重置结果”，则可以轻松摆脱QA事件。