不顺利，您不能简单地 关闭测试

化越多、差异越大，您的 应该越高。 下图强调，您的 （提升度）越低，您需要的流量就越多，才能获得具有统计意义的结果。反过来， （升力）越高，您需要的样本量就越少。 例如，如果您正在重新设计产品页面模板的站点架构，则应考虑使其从视觉和后端（代码结构）角度都明显不同。虽然用户研究或页面 测试可能导致了新的架构或设计，但目前尚不清楚提议的更改是否会影响排名。 这应该是您运行 对比测试的最常见原因。考虑到测试前和测试后分析的所有主观性，您希望确保您的变化产生足够不同的结果，以确信该变化确实产生了重大影响。当然，变化越大，风险就越大。


虽然较大的网站有能力测试较小的东西，但它们仍然受制于自己的猜测。对 电话数据 于不太健壮的网站，如果您要在模板上运行 对比测试，它需要足够不同，不仅使用户的行为不同，而且让 对您的页面进行不同的评估和排名。 对比测试的交流实验 无论您的 专业知识如何，与利益相关者就实验进行沟通都需要一套自己的技能。 测试的期望非常不稳定。有些人期望每次测试都能获胜。有些人希望您就如何更好地为他们提供明确的答案。不幸的是，这些都是错误的期望。





为了避免它们，您需要尽早为您的经理、客户或您正在为其进行对比测试的任何人建立现实的期望。 期望 ：大多数测试都会失败 这种理解是所有成功实验计划的支柱。对于不熟悉这个话题的人来说，这也是最难下咽的药丸。您必须让他们接受这样一个事实：第一次测试迭代所花费的时间和精力很可能会导致测试结果不确定或失败。 实验和对比测试最有价值的方面是每个测试经历的迭代过程。成功实验的真正结果，无论是 对比测试还是其他类型，都是多次测试的结果，导致主要 逐渐增加。 期望 ：你正在研究概率，而不是确定的事情 这种期望尤其适用于 对比测试，因为您正在利用各种指标作。