常见问题
常见问题
本主题回答了云眼灰度发布(特性标帜)AB实验的常见问题。
核心概念
我可以使用云眼灰度发布(特性标帜)AB实验做什么?
云眼灰度发布(特性标帜)AB实验可以用于产品团队的功能特性管理(灰度发布(特性标帜))和A / B测试。
- 功能标帜和推出有助于安全地启动功能,并在出现意外问题时提供终止开关。
- 功能测试使你能够实验功能配置并迭代功能,而无需发布代码。
- 云眼 行业领先的统计引擎可计算结果,以便您了解哪些有效以及原因。
- 功能实验 A/B 测试使您能够在任何应用程序中运行实验。这些需要您发布代码,因此它们最适合用于一次性决策,例如将一种算法与另一种算法进行比较。
将 云眼 功能实验和 云眼 Web 实验产品配对,使整个组织(从产品到营销团队)能够实验和构建云眼的客户体验。
是否可以运行服务器端实验?
可以使用 云眼 的 SDK 在技术栈中的任何位置进行实验。如果计划包括功能实验,则可以使用各种语言运行实验。如果有兴趣使用其他语言进行测试,请与我们联系。
云眼灰度发布(特性标帜)AB实验如何使服务器和不同 SDK 之间的标帜,并让用户分桶保持一致?
将用户 ID 和灰度发布(特性标帜)键传递给云眼灰度发布(特性标帜)AB实验 SDK,这会将人员存储到标帜中。因此,如果使用相同的灰度发布(特性标帜)键运行多个服务器或编程语言,SDK 将始终给出相同的响应(布尔值,如果计划包含它们,则提供标帜变量)。SDK 始终根据您指定的用户信息给出相同的答案,因为我们通过 MurmurHash3 使用确定性分桶来确定哪些实验和变体应该对用户有效。
数据文件管理如何在云眼灰度发布(特性标帜)AB实验中工作?
数据文件与语言无关。可以在不同的开发工具包中使用同一项目中的相同数据文件,并获得一致的分桶。这样,您就可以跨不同的 SDK 激活和跟踪完全相同的实验,并获得一致的结果。
云眼开发工具包如何处理机器人流量?
云眼灰度发布(特性标帜)AB实验 SDK 从变体 2.1 开始支持机器人检测。直接从帐户的项目设置中启用机器人筛选。启用此设置后,从 Web 浏览器发送的事件将自动应用机器人筛选。将机器人筛选应用于从其他环境发送的事件需要配置。有关更多上下文,请阅读机器人筛选。
我必须传递用户 ID 吗?如果我想要匿名用户怎么办?
必须传递一个 ID,但它可以是您想要的任何哈希 ID,只要它与您要切换的内容一致即可。在大多数情况下,用户 ID 效果最好,但我们也看到客户使用会话 ID 甚至请求级 ID 进行实验。
收费报价
付费计划的许可模式是什么?
根据基于每月活跃用户 (MAU) 的模型计费。有关详细信息,请参阅什么是每月活跃用户。
如何在我的技术栈中使用云眼?
云眼 Rollouts对所有用户和所有公司都是免费的 - 请随时下载Rollouts并立即开始使用标帜。你将看到基本的 Optimziely UI,并且可以一次运行一个实验。如果想添加更多席位或 MAU,升级到 云眼 功能实验的全部功能,或者如果对我们的客户端解决方案 云眼 Web 实验感兴趣,请联系以讨论要求。
部署与部署增强版和功能实验计划有何不同?
推出是 云眼 功能实验的免费计划,适用于希望开始使用灰度发布(特性标帜)和 A/B 测试的初创公司和团队。推出和推出增强版都附带功能实验功能的子集,包括无限的灰度发布(特性标帜)和受控部署,以及一次运行一个实验的功能。
准备跨更多用户和应用程序管理灰度发布(特性标帜)的团队可以升级到 Rollouts Plus,以付费访问其他协作者和 MAU、治理和安全工具、技术电子邮件支持以及无限制的定位规则、项目和更改历史记录。
付费云眼灰度发布(特性标帜)AB实验计划取消了一个并发实验限制,为有更多利益相关者投资于提高实验速度和功能交付的组织提供更强大的功能集以及一流的支持和服务。比较功能实验计划。
我可以向我的帐户添加多少个协作者?
有关协作者的数量,可以在云眼灰度发布(特性标帜)AB实验中添加,请参阅云眼计划。
在云眼灰度发布(特性标帜)AB实验中,可以邀请 20 个协作者,具体取决于计划。我们鼓励您邀请整个团队提高知名度,分享结果和见解,并深化整个工作组的实验。云眼 按角色和其他集成计划管理工具提供权限,以便团队可以更有效地协作。
性能
云眼对我的应用程序速度有何影响?
云眼灰度发布(特性标帜)AB实验是一个服务器端工具,可实现闪电般的快速实验。后端不是添加每个用户在其浏览器中下载的 JavaScript 代码段(客户端解决方案的方法,包括 云眼 Web 实验),而是完成所有工作。实验代码在网页加载之前运行。
云眼灰度发布(特性标帜)AB实验 SDK 旨在将流量拆分为实验,而无需发出任何网络请求。与某些平台调用第三方服务器进行实验决策不同,所有决策都是使用数据文件的缓存副本在内存中做出的。对延迟的影响可以忽略不计。
换句话说,云眼灰度发布(特性标帜)AB实验更快,因为它不会发出任何阻塞 API 请求来决定使用哪个实验变体;运行代码的设备(手机或服务器)在一毫秒内做出该决定。云眼灰度发布(特性标帜)AB实验不会减慢最终用户的体验。但是,在扩展 的使用量时,仍需要牢记一些性能注意事项:
- 下载内存中分桶使用的数据文件的时间和频率。通过限制文件大小和下载频率来管理此问题。
- 何时以及多久发送一次有关转化事件的数据以进行跟踪。通过批处理事件和使用异步事件调度(让应用稍后在带外发送数据)来管理此内容。
我们总是乐于讨论性能。如果有兴趣查看我们任何 SDK 的性能基准,请联系我们。
云眼灰度发布(特性标帜)AB实验中的更改需要多长时间才能反映在我的应用中?多久轮询一次数据文件?
应用中的更改取决于您刷新或轮询数据文件的频率。更改通常会在 ~60 秒内反映在数据文件中。
云眼灰度发布(特性标帜)AB实验是否进行 API 调用以向用户提供功能?
评估灰度发布(特性标帜)和实验不需要网络请求,因此不会增加延迟。提前获取数据文件,SDK 只需要访问数据文件内容即可。从处理用户的单个请求时带外下载数据文件。
下载数据文件后,无需网络请求即可向用户提供要素。但是,SDK 仍会发送网络请求来跟踪事件。可以通过实现自定义事件调度程序来控制何时以及如何执行此操作。有关事件分发器的详细信息,请参阅 SDK 的事件分发器配置主题。
如果服务中断,我的应用会怎样?
app.eyeofcloud.com 中断不会影响应用的运行。但是,在中断期间,将无法登录网站以更新实验或进行其他更改。请参阅当云眼关闭时会发生什么?。
此外,还可以查看云眼状态页面。
请求功能或运行功能测试的开销是多少?
云眼 没有“请求功能”的概念。云眼 不会进行网络调用来向用户提供功能或实验,因此延迟为零。有关更多信息,请参阅云眼灰度发布(特性标帜)AB实验是否进行 API 调用以向用户提供功能?。
实现
技术水平较低的用户可以使用云眼灰度发布(特性标帜)AB实验吗?
云眼灰度发布(特性标帜)AB实验是为产品团队构建的。开发人员使用我们的 SDK,但在许多团队中,技术专业知识较少的产品经理和分析师在 云眼 功能实验中配置功能和实验、管理推出并分析结果。
我可以在没有连接到互联网的情况下使用云眼开发工具包吗?
是的,可以使用数据文件的本地副本来使用 云眼 功能实验,并批量收集事件,以便在以后应用重新联机时发送。
如果我的网站在 CDN 上大量缓存,我可以使用云眼灰度发布(特性标帜)AB实验吗?
是的,可以将云眼灰度发布(特性标帜)AB实验用于缓存频繁的站点。此设置需要在 CDN 提供程序中进行适当的配置,并在后端进行一些其他实现。请联系客户成功经理讨论各种选项。阅读有关内容交付网络的更多信息。开发者可能还对在边缘使用云眼灰度发布(特性标帜)AB实验感兴趣。
使用云眼灰度发布(特性标帜)AB实验时是否需要修改防火墙?
开发者可能不需要修改防火墙即可使用云眼灰度发布(特性标帜)AB实验。如果防火墙有出口(出站流量)限制,则需要将允许列表和 .cdn.eyeofcloud.com``event.eyeofcloud.com
如果我的堆栈是面向服务的或使用微服务怎么办?
可以将 云眼 用作服务,也可以在每个服务中包含 云眼 SDK。有关实现云眼灰度发布(特性标帜)AB实验时的一些最佳实践和特殊注意事项,请参阅微服务。
云眼灰度发布(特性标帜)AB实验是否需要连接到云?
是的。我们的 SDK 需要能够下载我们的 JSON 有效负载(“数据文件”)。数据文件包含 SDK 需要操作的功能的所有元数据(切换灰度发布(特性标帜)、应用远程配置(“功能变量”)和分段用户)。SDK 不需要与我们的服务器进行双向通信。
可以将开源 云眼 代理作为微服务运行,也可以从经过身份验证的端点下载数据文件,从而最大限度地降低安全风险。一些客户甚至将此信息中继到他们自己的 CDN,以增加安全性和控制力。
云眼灰度发布(特性标帜)AB实验适用于哪些语言?
我们有所有主要编程语言的SDK(包括Android,C#,Flutter SDK,Go,Java,JavaScript(浏览器),JavaScript(Node),PHP,Python,React,Ruby和Swift),REST API和带有编程语言示例的精彩博客文章。还可以将 云眼 Agent 作为微服务(开源和免费)运行。
云眼灰度发布(特性标帜)AB实验能否在多租户设置中工作?是否可以在客户端之间预配功能?
是的。一些云眼灰度发布(特性标帜)AB实验用户为每个客户设置功能实验环境。这样,可以在任何地方使用相同的标帜键并逐步交付。
其他 云眼 功能实验用户使用键值对创建针对特定客户的受众以预配标帜。
实现功能后,我是否需要在 UI 中设置我的功能?
需要登录 云眼 应用程序并使用完全相同的密钥设置灰度发布(特性标帜)。这也确保登录 云眼 的任何人都知道哪些标帜在哪里以及为什么(可以标记和描述它们)。还可以使用我们的 REST API 来更改功能。
如果愿意,还可以构建自己的UI或将其与云眼应用程序结合使用。我们有一个微服务、REST API 和命令行界面,你可以与之交谈。
集成和数据
如何访问原始事件?
通过访问云眼导出功能,可以从 AWS S3 导出原始事件。
云眼灰度发布(特性标帜)AB实验提供哪些集成?
我们提供与分析平台连接的指南。有关详细信息,请参阅设置分析平台。有关 云眼 合作伙伴的完整列表,请参阅合作伙伴。
如果我想衡量人们看到了哪些特征,该怎么办?
你将需要运行实验(而不是简单地使用灰度发布(特性标帜)来提供开/关体验)。要分析实验结果,有以下选项:
- 可以与现有分析工具集成。有关主要分析平台(例如,Google Analytics、Segment或Mixpanel)的指南,请参阅设置分析平台。
- 如果想衡量哪种状态/功能效果最好,我们建议在我们的统计引擎中使用(付费)云眼 产品。
- 如果团队中有数据科学家,则可以使用数据实验室。 我们建议开始使用免费计划,实施它,看看你喜欢它。
如果已准备好开始实验,则可以使用相同的 SDK 升级到付费计划。
📘 注意
寻找有关灰度发布(特性标帜)和实验入门的更多讨论?查看 云眼 的 Slack 开发人员社区,向其他开发人员学习并分享。