测量结果

在本章中,我们将讨论如何衡量结果并简化在网站上进行的测试的统计数据.

了解统计数据

研究人员可能会或可能不会了解统计数据.但是,通过简化这些统计数据,A/B测试工具被证明是一种救星.因此可以避免很多计算.大多数测试工具在使用95%标准作为成功完成目标时是一致的.

这意味着10分中你是9的胜利者.让我们举个例子.您的测试工具报告如下:

变体转换率
Control page1.91%
12.39%
22.16%
33.10%

此报告预测95%间隔或多或少的.20%转换率差异.统计上,目标范围介于1.76和2.06之间.

获取数据

在计划测试时,我记住了两个目标.首先是提高收入,另一方面是提取更高投资回报率的见解.

例如,在案例研究中,我们将流量转移到产品页面而不是类别页面或主页改进转换率与否.我们采取了三种变体,其中一种是我们在主页上引导了流量,这些流量加载了类别和子类别,进一步指向产品页面.在第二个中,我们将流量引导到类别页面添加过滤器.在第三个中,我们使用购买按钮将其直接指向产品详细信息页面.

令我惊讶的是,第三个变体赢了.这只是买方有关产品的信息.这让我们可以了解转换率提升和持续改进如何使我们增加潜在客户.

毫无疑问,在测试中添加了许多变体和见解,这让我们重新设计了网站.

了解结果

让我清楚一点.不是所有的测试胜利.是的,这是痛苦而真实的.

有一些测试可以让你获得飞行的颜色.还有其他人在经过这么多尝试之后也没有结果.但是,如果您计划通过洞察力推动细分的测试,您可以有一个新的假设进行测试.并非所有测试都可以帮助您提高收入.

举一个例子来理解.有三种广告系列具有不同的转化率.

广告系列A8.2%
广告系列B19.1%
广告系列C5.2%

任何人都会盲目地说'竞选B'是超级演员.但是让我们再挖一些.


访问次数交易转换率
广告系列A18201508.2%
广告系列B20419.1%
广告系列C780415.2%

仔细观察,"广告系列B"太小了具有统计学意义.广告系列B只需一次访问,即可获得100%的转化率. "广告系列A"执行"广告系列C".在得出结论的同时,需要考虑几个因素,每次都可能有所不同.您需要查看所有见解并确定结果.