A/B测试不显著，也是重要结论

微信扫一扫，分享给好友

关闭

Medium - The Startup上的一篇分析指出：团队做A/B测试，最失落的结果是「不显著」。多数团队的处理方式是扔掉结果继续下一个实验——这浪费了实验里最贵的学习机会。

不显著的三种含义

含义一：真的没效果。功能对目标指标确实没有影响。

含义二：有效果但样本量不足。实验功效不够，真实存在的中小幅效果检测不出来。提前算好所需样本量，能避免「跑了一周就停」的伪不显著。

含义三：实验设计有缺陷。分流不均、周期太短混入了大促干扰、对照组被污染——缺陷会掩盖真实效果。先排除二和三，再接受一。一个检查动作：不确定是否样本不足时，看累计样本是否达到预估量的八成以上——没到就继续跑，到了再下结论。

无差异结果的三种用法

用法一：止损依据。投入产出不成正比的功能，不显著就是砍掉它的证据。省下的研发资源投到别处，这就是无差异结果创造的价值。

用法二：校准认知。「我们以为用户在意XX，实验证明不在意」——修正团队的心理模型，比多上三个功能更值钱。

用法三：组合分析。整体不显著，某些细分人群可能显著反应。但注意多重比较风险：切的维度越多，假阳性越多，细分结论只做假设不做决策。

警惕「不显著恐惧症」

如果团队只奖励显著的正向结果，会催生三种病变：选择性汇报（只报赢的实验）、实验设计趋险（为了显著硬凑）、只做稳赢的实验（不再探索）。健康的实验文化奖励的是「高质量的学习」，不是「正向的结果」。

实操上可以建立「实验登记簿」：所有上线的实验无论结果，都记录假设、设计、样本量与结论。季度复盘时统计有多少不显著实验帮团队砍掉了计划中的投入——这个数字是不显著实验价值的直接证据，也是向管理层解释实验文化的最好材料。

写在最后

实验的目标是学习，不是赢。一个设计良好、执行无缺陷的不显著实验，价值不亚于一次胜出——它用一个功能的成本，买断了整个团队的一个错误认知。记住：赢的实验改变产品，不显著的实验改变认知，两者都是资产。