Loan Database

正如我们所希望的那样，测试不同的变化让我们清楚地了解了颜色对“在此注册！”按钮效果的影响。有趣的是，改变按钮设计并没有比单独改变按钮获得更高的转化率。将按钮从绿色改为黄色后，转化率提高了惊人的 175%。

令我们惊讶的是，使用 CTA“立即 美国华侨华人数据 播放！”并没有带来与基准 CTA 相比更好的转化率。然而，当仔细查看变体 #3 的结果时，我们发现测试变体的样本量未达到测试具有统计意义所需的数量。

鉴于变体 #3 的样本量（5,532），我们的测试不够敏感，无法测量介于 13% 和 14% 之间的转化率变化。（变体 #3 的转化率为 10.71%。）此测试的转化率变化很小，这意味着我们只能根据该结果得出有限的结论。但是，由于前两个变体的结果，我们至少可以肯定按钮颜色的变化对我们的转化率有明显的影响。

案例研究图表.png

上图显示了不同按钮的转化率：蓝色，原始；橙色；变体＃1；绿色，变体＃2；红色，变体＃3。

经验教训
我们本来可以做些什么不同的事情？

我们应该花更多的时间集思广益，确定测试的目标和要测试的组件。

讨论它们的相关性并牢记它们将如何影响您的测试可能是值得的；变量数量越多，您需要测试的组合数量就越多。

如果您热衷于测试页面的许多组件，那么请记住，还有其他类型的实验设计与 A/B 测试的工作方式类似，例如Plackett Burman 设计和部分因子设计。它们的设置和运行不像 A/B 测试那么简单，但可能会给您更可靠、更准确的结果。