数据分析之 AB测试（AB Test）

1.什么是AB测试？

为同一个目标，设计两种方案，将两种方案随机投放市场中，让组成成分相同（相似）用户去随机体验两种方案之一，根据观测结果，判断哪个方案效果更好，结果可以通过CTR(点击通过率)或者下单率来衡量。
A/B test不是只能A方案和B方案，实际上一个测试可以包含A/B/C/D/E/……多个版本，但是这多个方案之间只能有一个不同的地方，也就是理解未定"量"分析。

A/B测试的更清晰的定义：
A/B-test是为同一个目标制定两个方案，在同一时间维度，分别让组成成分相同（相似）的用户群组随机的使用一个方案，收集各群组的用户体验数据和业务数据，最后根据显著性检验分析评估出最好版本正式采用。

2.A/B测试（即统计检验）

进行A/B测试，其实过程就算一个统计检验的过程。

由于AB测试是让用户在两个选择中随机选择一项，相当于二项分布，根据统计学原理，可知若样本足够大，那么标准的二项分布的累计分布趋近于正态分布，即抽样的分布趋于正态分布，可采用z检验。即：

PA~N(PA,PA*(1-PA)/NA) 
PB~N(PB,PB*(1-PB)/NB)
PA-PA~N(PA-PB,PA*(1-PA)/NA+PB*(1-PB)/NB）

AB-test的假设检验：

• H0:A、B无差异
• H1:A、B有显著差异

根据样本观察值，构造统计量：

若Z>0.025 ，那么拒绝原假设，认为两种方案有显著差异。

3.样本的可信性

两类错误：
第一类错误α错误：“弃真”，原假设为真，却落在拒绝域内。
第二类错误β错误：“取伪”，原假设为假，却接受原假设。

统计功效power：
在上文中我们使用的是样本的估计值代表整体，但是可能存在偏差，即可能存在两类错误，如何去估计样本是否能代表真实，统计学中使用统计功效来衡量。

统计功效：在假设检验中，拒绝原假设后接受备择假设的概率，计算的是（1-β）的概率。统计功效的值期望越大越好。

4.做ABtest时需要考虑的问题？

（1）.样本是否具有代表性，首先在样本的选取中就需要先行进行控制；
（2）.估计值是否是实际值的真实反映？即估计的准确性。
（3）.如果样本有偏差，考虑区间估计
（4）.怎么分配流量来做多组测试？—根据统计功效计算

5.方差分析

方差分析（analysis of variance，ANOVA），即变量分析，是对多个样本平均数差异显著性检验的方法。方差分析又称为F检验。