A/B 测试

A/B 测试将流量分配到对照组 (A) 和变体组 (B)，以衡量变更的因果影响。它通过提供统计证据来消除优化中的猜测。

运行可靠的 A/B 测试需要足够的样本量、明确的主要指标和适当的随机化。在达到统计显著性之前偷看结果是一个常见错误，会导致错误结论。

除了简单的双变体测试，团队还使用多变量测试（同时测试多个变更）和多臂赌博机（自适应分配）。正确的方法取决于流量和预期效果的大小。