AB测试与假设检验基础
AB测试简介
- AB测试是一种用于比较两个版本（A和B）的产品、功能或营销策略等差异的实验方法。通常，A是原始版本（对照组），B是经过修改的版本（实验组）。例如，在一个电商网站上，A版本是旧的商品详情页布局，B版本是新设计的布局，通过AB测试来观察哪种布局能带来更好的用户行为，如更高的购买转化率。
假设检验在AB测试中的作用
- 假设检验为AB测试提供了一种科学的决策方法，用于判断A和B版本之间观察到的差异是由于随机因素还是真正的系统性差异。通过设定原假设和备择假设，计算检验统计量，并与临界值比较，来确定是否拒绝原假设，从而得出A和B版本是否有显著差异的结论。
使用假设检验验证AB测试效果的步骤
步骤一：明确假设
- 原假设（$H_0$）：通常假设A和B版本在关键指标（如转化率、点击率、用户停留时间等）上没有差异，即$H_0: \mu_A = \mu_B$，其中$\mu_A$和$\mu_B$分别是A和B版本的关键指标均值。例如，在测试两个广告文案的点击率时，原假设是两个文案的点击率相同。
- 备择假设（$H_1$）：与原假设相反，表明A和B版本在关键指标上存在差异。可以是双侧检验（$H_1: \mu_A \neq \mu_B$），只关心两个版本是否有差异，不考虑方向；也可以是单侧检验（如$H_1: \mu_A < \mu_B$或$H_1: \mu_A > \mu_B$），当有特定方向的预期时使用。例如，如果预期新的广告文案会提高点击率，就使用单侧检验$H_1: \mu_{新文案} > \mu_{旧文案}$。
步骤二：选择合适的检验方法和收集数据
- 选择检验方法：
- Z检验：如果样本量足够大（一般$n\geq30$），且已知总体方差（在AB测试中这种情况较少）或者可以根据样本方差稳定地估计总体方差时适用。例如，在大型电商平台的AB测试中，样本量达到数千，且历史数据表明方差相对稳定，可以考虑Z检验。
- T检验：适用于小样本（$n < 30$）或者总体方差未知的情况。在许多实际的AB测试场景中，尤其是新产品功能或新策略的小规模测试，样本量可能较小，且总体方差难以确定，T检验更为常用。例如，在测试一个新的APP内小功能对用户活跃度的影响时，样本量可能只有20，此时使用T检验。
- 卡方检验：用于检验分类变量之间的差异。如果AB测试的关键指标是分类变量，如用户是否购买（是/否）、用户是否点击（是/否）等，卡方检验就比较合适。例如，比较两个不同促销活动下用户购买与否的比例差异。
- 收集数据：
- 确定要收集的数据指标，如页面浏览量、点击次数、购买次数等。在AB测试期间，确保数据收集的准确性和完整性。例如，通过在网站或APP上的代码埋点，记录每个用户看到的是A版本还是B版本，以及他们对应的行为数据。
- 数据收集的时间长度要足够，以确保能够观察到稳定的用户行为模式。同时，要注意避免数据受到外部因素（如节假日、特殊事件等）的过度干扰，除非这些因素是测试的一部分。
步骤三：计算检验统计量
- Z检验统计量（以比较两个样本均值为例）：$Z=\frac{(\bar{X}_B – \bar{X}_A)-(\mu_B – \mu_A)}{\sqrt{\frac{\sigma^2_A}{n_A}+\frac{\sigma^2_B}{n_B}}}$，其中$\bar{X}_A$和$\bar{X}_B$是A和B版本的样本均值，$\mu_A$和$\mu_B$在原假设下差值为0，$\sigma^2_A$和$\sigma^2_B$是A和B版本的总体方差（如果已知），$n_A$和$n_B$是A和B版本的样本容量。
- T检验统计量（以独立样本T检验为例）：$T=\frac{(\bar{X}_B – \bar{X}_A)-(\mu_B – \mu_A)}{S_p\sqrt{\frac{1}{n_A}+\frac{1}{n_B}}}$，其中$S_p$是合并标准差，$S_p=\sqrt{\frac{(n_A – 1)S^2_A+(n_B – 1)S^2_B}{n_A + n_B – 2}}$，$S^2_A$和$S^2_B$是A和B版本的样本方差。
- 卡方检验统计量（以比较两个比例为例）：假设$p_A$和$p_B$是A和B版本的某种行为比例（如购买比例），$n_A$和$n_B$是样本容量，$\chi^2=\frac{(n_Ap_A – n_Bp_B)^2}{n_Ap_A(1 – p_A)+n_Bp_B(1 – p_B)}$。
步骤四：确定显著性水平并做出决策
- 确定显著性水平（$\alpha$）：通常选择$\alpha = 0.05$或$\alpha = 0.01$。例如，选择$\alpha = 0.05$，表示在原假设为真的情况下，我们允许有5%的概率错误地拒绝原假设。
- 做出决策：
- Z检验和T检验（双侧检验）：如果是双侧检验，查相应分布表得到双侧临界值$\pm Z_{\alpha/2}$或$\pm T_{\alpha/2,df}$（df是自由度）。如果计算出的$|Z| > Z_{\alpha/2}$或$|T| > T_{\alpha/2,df}$，则拒绝原假设，认为A和B版本有显著差异。例如，对于Z检验，当$\alpha = 0.05$时，$Z_{\alpha/2}=1.96$，如果$|Z| > 1.96$，就拒绝原假设。
- Z检验和T检验（单侧检验）：对于单侧检验，查相应分布表得到单侧临界值$Z_{\alpha}$或$T_{\alpha,df}$。如果是右侧检验，当计算出的$Z > Z_{\alpha}$或$T > T_{\alpha,df}$时拒绝原假设；如果是左侧检验，当$Z < -Z_{\alpha}$或$T < -T_{\alpha,df}$时拒绝原假设。
- 卡方检验：根据自由度（$df=(r – 1)(c – 1)$，r和c是列联表的行数和列数）和设定的显著性水平$\alpha$，查卡方分布表得到临界值$\chi^2_{\alpha,df}$。如果计算出的$\chi^2 > \chi^2_{\alpha,df}$，则拒绝原假设，认为A和B版本在分类变量上有显著差异。
案例分析
案例背景
- 某电商网站对商品详情页进行AB测试，A版本是现有页面，B版本是优化后的页面。测试的关键指标是购买转化率。A版本的样本量$n_A = 500$，购买转化率$\bar{p}_A = 0.1$（即10%）；B版本的样本量$n_B = 500$，购买转化率$\bar{p}_B = 0.12$（即12%）。
假设检验过程
- 明确假设：
- 原假设（$H_0$）：$\mu_A = \mu_B$，即两个版本的购买转化率没有差异。
- 备择假设（$H_1$）：$\mu_A \neq \mu_B$，采用双侧检验，因为我们只想知道两个版本是否有差异，不预先确定哪个版本更好。
- 选择检验方法和收集数据：
- 由于是比较两个比例，且样本量较大，选择Z检验。数据已经收集好，包括每个版本的样本量和购买转化率。
- 计算检验统计量：
- 首先计算$p = \frac{n_A\bar{p}_A + n_B\bar{p}_B}{n_A + n_B}=\frac{500\times0.1 + 500\times0.12}{500 + 500}=0.11$
- $Z=\frac{(\bar{p}_B – \bar{p}_A)-(\mu_B – \mu_A)}{\sqrt{p(1 – p)(\frac{1}{n_A}+\frac{1}{n_B})}}=\frac{(0.12 – 0.1)-0}{\sqrt{0.11\times(1 – 0.11)(\frac{1}{500}+\frac{1}{500})}}\approx1.49$
- 确定显著性水平并做出决策：
- 设定显著性水平$\alpha = 0.05$，双侧临界值$Z_{\alpha/2}=1.96$。因为$|1.49| < 1.96$，所以不能拒绝原假设，即从目前的数据来看，没有足够的证据表明A和B版本的购买转化率有显著差异。不过，如果想进一步确定是否有差异，可以考虑增加样本量或者延长测试时间再进行分析。
