在国内互联网领域，字节跳动是最为推崇 A/B 测试的公司，旗下“抖音”、“今日头条”两大最著名产品，连 APP 的名字都是来源于 A/B 测试。
A/B 测试（也叫 AB 实验）也被称为对照实验，其方法是针对某个要优化的产品功能或策略，制定两个或多个方案，将用户流量随机分成多组，在保证每组用户特征相同的前提下，让不同组分别看到/使用不同的方案。最终结合科学的统计算法，通过实验数据对比来确定最优解。
在字节，每天会开启 1500 余个 A/B 测试的运行，以抖音为例，应用上的每一个微小细节改动前必然也都会通过 A/B 测试来确认用户体验。
一次，抖音的 UI 设计师提出，或许可以优化文字和视频内容之间的蒙层，让视频界面上的文字更突出，用户刷视频的体验会更舒服，从而停留在 App 上更久一点。
那么蒙层的高度和透明度如何设置，才能达到预期效果呢？在字节，这只有通过 A/B 测试能知道。
确定了优化目标之后，支持抖音的数据分析师团队着手开始设计实验方案，调整蒙层的高度、透明度这两个主要参数，后续交给研发团队做实现，最终分流给不同用户。
围绕两个变量的组合，团队对小小的蒙层进行了为期半个月的实验。每个方案，不同参数的组合，会需要 7 天左右的观测时间，来收集用户观看时长、留存等指标。
最终，敲定了最佳方案（下图 2），相较原版本（下图 1），屏幕些微的视觉变化，让抖音的人均 App 使用时长提升了约 0.2%，人均 App 活跃天数提升了约 0.1%。
类似像上面蒙层调整的例子数不胜数，数以千计的 AB 测试支撑着抖音的用户留存数据变得越来越好。
比如抖音原来的界面设计里，为了简洁美观，以偏符号性的按钮设计为主——类似爱心代表点赞，省略号代表评论。但是在评估用户体验时团队发现，这样的设计对不熟悉产品功能的新用户来说并不友好，他们很少主动使用。通过 A/B 测试，团队添加了更直观的文字提示去引导用户行为。A/B 测试贯穿了抖音的整个生命周期，从产品命名、功能、交互设计到推荐算法策略，这是字节跳动的基因。
经过了字节内部业务的多年打磨，2019 年这一套在字节大放异彩的 A/B 实验工具正式通过火山引擎对外服务，取名为 DataTester。它基于先进的底层算法，提供科学分流能力，提供智能的统计引擎，实验结果可靠有效，助力业务决策。
目前，DataTester 在字节内每日新增 1500+实验，累计已有 150W+ 的 A/B 实验进行过。在外部客户的服务上，也已覆盖推荐、广告、搜索、UI、产品功能等业务场景，提供从实验设计、实验创建、指标计算、统计分析到最终评估上线等贯穿整个实验生命周期的服务。来自得到、美的、凯叔讲故事 APP 等企业客户，已经通过火山引擎 DataTeser 开启了用数据驱动科学决策的道路。
点击这里，了解更多 AB 实验