作者：江颢
1.什么是长期的 AB 实验
大部分情况下，我们做的 AB 实验都是短期的，一到两周或者一个月之内的，通过分析这段时期内测得的实验效应得出实验结论，并最终进行推广。
长期实验即运行时间达数月甚至数年的实验，实验的长期效应指的是需要数月数年的 AB 实验才能积累的实验效应。
那什么场景下还需要做长期的 AB 实验，为什么不直接将短期的实验效应直接推广到长期效应呢？
因为在某些情况下，实验的长期效应和短期效应是不同的。
例如，在搜索引擎上显示不够匹配的搜索结果会导致用户再次搜索，搜索份额可能在短期内会增加，但随着用户体验下降并切换到更好的搜索引擎，搜索份额从长期来看会减少；同样，展示更多的广告可以在短期内增加广告点击和营收，但长期来看，却会因为广告点击甚至搜索的减少而造成营销的减少。
执着于短期的 AB 实验，会使我们倾向于高估技术的短期效应，而低估其长期效应。
2.为什么要做长期的 AB 实验
2.1 归因
数据驱动文化的团队会使用实验结果来跟踪评估团队的目标，在这种情况下需要对实验的长期效应进行正确的测量和归因。分析如果不引入新功能，从长远来看，产品获得的效果是怎么样的；引入新功能获得成功的原因，是由于外部政策影响、竞品变化还是用户的体验得到提升。这种归因是非常具有挑战性的
2.2 积累经验
长期和短期的 AB 实验在某种业务场景下是否存在差异，如果存在是什么原因造成的？产品引入新功能对用户的体验用什么影响，如果用户被新功能吸引，但只体验一次，则说明新功能可能不太满足用户需求；如果用户需要花费很长时间才能体验到新功能，则说明用户引导可能不够。了解这种差异可以为产品后续的升级迭代积累经验
2.3 推广结论
通过测量某种场景下的某些实验的长期效应，我们可以尝试总结并推广实验结论。之后在这类场景下做 AB 实验时，我们能否通过这些长期效应，创建可预测长期效应的短期指标，将这些指标作为我们实验的护栏指标；或者在决策中考虑那些推广的结论
3.为什么长期的 AB 实验容易踩坑
我们先来介绍一种最常见最流行的做长期实验的方式：即延长短期实验的运行时间，长期运行它。
下图展示了随着时间推移，测得的实验效应变化。第一个实验周期测得的百分比增量测量值 P1 被认为是短期效应；而最后一个测量值 PT 则被认为是长期效应。
