看到上述内容
Posted: Sat Feb 22, 2025 9:16 am
您很容易就会为转化率增加 18% 而感到高兴 - 但您错了。举个例子更容易解释这意味着什么。假设您有一对我们知道完全相同的骰子。如果您将每个骰子掷 100 次，您会期望在两个骰子上看到 1-6 的每个数字的次数相同（每面大约 17 次）。假设这次我们想看看每个骰子掷出 6 的几率有多高。请看下面的结果：
思考统计意义的一个简单方法是，在第二次掷骰子上获得更多 6 的机会只是侥幸，并且没有以某种方式进行优化以掷出 6。
仔细想想，这很有道理。假设在 100 次投 越南电报筛选 掷中，我们预计有 17 次会掷出 6，如果第二次投掷 6 的次数为 19/100，我们可以相信我们只是运气好。但如果我们投出 6 的次数为 30/100（多出 76%），我们就很难相信我们只是运气好，第二个骰子实际上不是灌铅骰子。如果将这些数字放入统计显著性工具（双侧 t 检验）中，结果会显示 B 的表现比 A 高出 76%，显著性为 97%。
在统计学中，统计显著性是 P 值的补数。本例中的 P 值为 3%，因此补数为 97% (100-3 = 97)。这意味着如果骰子相同，我们看到这种极端结果的概率为 3%。
当我们在 Optimizely 等工具中看到统计显著性时，它们只是取 P 值的补数（100-3 = 97%）并将其显示为超过基线的机会。在上面的例子中，我们会看到超过基线的机会为 97%。请注意，我并没有说 B 有 97% 的机会比 76% 更好 - 只是在这种情况下差异是 76% 更好。
这意味着，如果我们再次掷骰子 100 次，我们有 97% 的把握会再次看到明显的差异，但差异可能高达 76%，也可能不高。因此，考虑到这一点，我们可以准确地说出骰子实验的内容：
思考统计意义的一个简单方法是，在第二次掷骰子上获得更多 6 的机会只是侥幸，并且没有以某种方式进行优化以掷出 6。
仔细想想，这很有道理。假设在 100 次投 越南电报筛选 掷中，我们预计有 17 次会掷出 6，如果第二次投掷 6 的次数为 19/100，我们可以相信我们只是运气好。但如果我们投出 6 的次数为 30/100（多出 76%），我们就很难相信我们只是运气好，第二个骰子实际上不是灌铅骰子。如果将这些数字放入统计显著性工具（双侧 t 检验）中，结果会显示 B 的表现比 A 高出 76%，显著性为 97%。
在统计学中，统计显著性是 P 值的补数。本例中的 P 值为 3%，因此补数为 97% (100-3 = 97)。这意味着如果骰子相同，我们看到这种极端结果的概率为 3%。
当我们在 Optimizely 等工具中看到统计显著性时，它们只是取 P 值的补数（100-3 = 97%）并将其显示为超过基线的机会。在上面的例子中，我们会看到超过基线的机会为 97%。请注意，我并没有说 B 有 97% 的机会比 76% 更好 - 只是在这种情况下差异是 76% 更好。
这意味着，如果我们再次掷骰子 100 次，我们有 97% 的把握会再次看到明显的差异，但差异可能高达 76%，也可能不高。因此，考虑到这一点，我们可以准确地说出骰子实验的内容：