统计功效：它是什么以及如何在 A/B 测试中计算它

sohanuzzaman566

了解测试的统计功效或“敏感性”是 A/B 测试之前规划的一个组成部分。这将有助于在网站上实施更多更改以增加收入。

什么是统计功效
统计功效是指在某种效应确实存在的情况下检测到显着结果的概率。这使您可以在测试选项实际存在时识别它们之间的差异。

在继续讨论统计功效的组成部分之前，重要的是 印度号码 要了解会犯哪些错误以及如何避免这些错误。

两种类型的错误
I 类错误

I 类错误是误报：它拒绝原假设，而原假设实际上是正确的。

原假设是指两个事件或现象之间不存在差异或影响的陈述。

简而言之，测试表明选项之间存在差异，尽管实际上没有差异。当测试因错误或事故而失控时，就会出现不合格。

I 类错误的概率用希腊字母 alpha (α) 表示，是指对于A/B 测试已经显着的水平。如果测试的置信度为 95%，则意味着剩余 5% 是出现 I 类错误的概率 (1.0 - 0.95 = 0.05)。

如果 5% 太高，您可以通过将置信水平提高到 99% 甚至更高来降低误报的可能性。在这种情况下，发生 I 类错误的概率将从 5% 降低到 1%。但这种概率的降低会带来一定的风险。

增加置信度会增加发生 II 类错误的可能性。 alpha 和 beta 误差之间存在反比关系：一个误差减小，另一个误差增大，反之亦然。

降低 alpha 错误率（例如，从 5% 降低到 1%）会降低测试的统计功效。临界区变得越来越小，并且它越小，拒绝零假设的概率就越低，因此功效水平就越低。因此，如果您需要更多的功率，您也可以增加 alpha 错误的风险（例如，从 5% 到 10%）。