王晔：AB 测试——增长黑客必杀技

3月12日吆喝科技主办的「增长黑客——互联网时代的超级英雄」线下活动王晔演讲内容完整版。...





3月12日，由吆喝科技、出门问问主办，科技寺、峰瑞资本、活动树、微吼直播联办的「增长黑客——互联网时代的超级英雄」线下沙龙中，前 Google 资深工程师、现吆喝科技创始人及 CEO 王晔作为第三位演讲嘉宾为大家带来了「AB 测试——增长黑客必杀技」。



以下是由本公众号整理的演讲内容:

首先非常感谢大家能够在周六来参加我们的活动，覃超和范冰都提到了 AB 测试在增长黑客实战中的应用，当然我们吆喝科技做的就是国内比较领先的 AB 测试的服务，我就专门把我们自己的经验，还有自己的知识都分享给大家，说说为什么 AB 测试是增长黑客的必杀技。

数据的力量与 AB 测试的重要性

说到这里首先我提一个概念，AB 测试其实只是一个工具，它背后的理念在于用数据来帮助你做更好的决策。有一个很有意思的人，说过一句话我特别喜欢，他说从现在开始十年之内，当我们回顾大数据时代是如何发展的时候，我们会震惊在以往做出决策时信息的匮乏。我觉得用大数据的方法来帮助你做决策这件事情，就像我今天这个打扮，就有点黑客的意味，很多东西就不再是靠艺术创造、靠想象、靠拍脑袋来做，而是靠数据，像你写代码、做分析的时候那样一种很理性的模式。

我就再说一个故事，关于数据的力量。这个故事发生在1682年，离我们很远很远，那个时候有个天文学家，他观测到有一颗有着巨大拖尾的彗星划过夜空，然后在有限的天文观测数据中，他找到了1531年和1607年，也有类似这样的数据，这个对比仅仅依靠一些非常有限的观测到的数据。他最后得出一个很重要的结论，他认定1682年，这个彗星还会再次出现，而且他认为这三次观测看到的都是同一颗彗星，当然这就是著名的哈雷彗星。所以数据真的是可以帮助我们构建新的知识，可以帮助我们透过现象看本质。

那么 AB 测试在这个数据里面扮演的是什么角色呢？他其实扮演的是个科学性的角色，当然现在已经不是17世纪了，我们获取数据的能力已经越来越强了，我们有很多很多的数据，我们有很多很多方法去获取数据，但是数据怎么样能够帮到我们呢，里面就有很强的理性的东西和方法论的东西，那么 AB 测试在里面扮演的角色就是科学性。



它最早是用在临床医学上，西医和我们中医不太一样，西医更讲究科学性的医学，那么在西医里面，如果你发明了一个药，你说它可以治什么病，你怎么去证明呢？这个时候有种方法，去请来一些患者，这些患者都有同样类似的健康状况和病历，我们把他们分成两组，一组是 A 组是对照组，一组是 B 组是试验组，这些患者自己并不知道自己被分组，他们都以为自己得到并且服用了试验的药物，他们的康复状况就会被当做数据记录下来。

但是在这里我们医生是知道的，A 组的人得到的是真药，B 组的人得到的是安慰剂，对比这两组的恢复情况，我们就可以知道如果 A 组的患者确实比 B 组明显地康复好一些，又没有什么副作用，那么就能证明这个药是有作用的，反之则不能。

这样一个方法可以被用在医学上，当然这是它科学性的重大体现，那么它也可以用在我们互联网产品增长黑客的实验里边。



这就是增长黑客日常的工作，首先你往往是通过统计和分析的方法，来判断你有什么样的增长机会。比如说我举个知乎的例子，他们发现，当新的知乎用户回答了三个问题之后，他的活跃度就比其他的用户活跃度要高一倍以上。于是知乎的运营人员就得出一个结论，说有一个魔法的数字，就是要求每个新用户，尽量能够回答3个以上的问题。他找到了这样一个增长机会，就是我鼓励你多去回答问题，我多找人邀请你回答问题。

那么这个方法能不能成功呢？这个时候就需要通过 AB 测试的方法，来帮助到运营人员真正地去实施想要的策略。比如说去鼓励10%的新用户回答问题，给他们奖励，然后 AB 测试给你数据，你来验证你的想法是不是有效，最后发现真的有效，这个想法就可以发布出去，我们增长黑客的工作就完成了。

AB 测试的具体流程

下面说一下具体的，在刚才那个图里面，AB 测试的具体实施流程是什么样的呢？其实非常简单，可能在座的大家都有一定的印象，比如说我们看现在你有一个网页，就是你用户流量的页面，你用上面的绿色作为一个代表，如果你现在的页面只有23%的转化率，你希望通过某种黑客方式，把它调一调，改一改，改成蓝色的页面，从而能够提升它的转化率。



那么我们可以用 AB 测试怎么做呢？我们就让来访流量的访客，一半或者一部分看到绿色的老版本，一部分的访客看到蓝色的新版本。这些用户自己是无感知的，他们并不知道自己是被分配在试验里面，他们依然按照自己的行为去操作，他们会买东西，会退出或者怎么样，然后你看他的转化率，有没有发生变化。假如我们看到一个很糟糕的现象，这个蓝色的版本，它的转化率反而降低了只有11%了，结果是你的老版本胜出，就说明你改进的方案不成功，于是你会想其他的方案再去改，总会找到能够提升转化率的方法。

注意在整个测试中，就是跟刚才临床医学一样的例子，这个AB 测试是在做一个只改变一个条件的单盲试验。在这个试验之中，用户并无感知，并且对照组和试验组的用户，他们的体验几乎是保持一致的，仅仅在某一个地方发生了变化，这样你的 AB 测试结论才有意义，才会告诉你到底是不是因为 B 版本比 A 版本好，或者 B 版本比 A 版本坏，才产生了你最后得到的数据。



具体的 AB 测试技术，它需要云端的流量控制、数据统计，也需要你客户端很多的配合，比如说 A、B 端不同逻辑的确认和控制，以及数据的汇报等等，我就不详细展开了。

AB 测试在实践中的应用



说了前面所有的理论和基础，我们来看看 AB 测试在实践中的应用。这个例子我特别喜欢展示，因为它能够在很大程度上说明问题，就是 AB 测试到底怎么用？换句话说 AB 测试其实就是当你的产品经理、运营、设计师有很多很多想法，然后就去试，试着试着就试出来一些很有效果的点子。比如 Bing，它是一个搜索引擎，它搜索的结果页做了一个颜色上的微调，你肉眼基本上看不出来右边的 B 版本和左边的 A 版本有什么区别，但是 AB 测试告诉你它有区别，B 版本可以让每年的营收增长 1000 万美元以上。



下面再说一个增长黑客的例子，这是亚马逊公司。亚马逊曾经出过一个信用卡的推广，他们最早的信用卡推广广告放在哪呢？是放在购物页面里面，就是你在买东西的时候，也可以申请一张亚马逊公司推出的信用卡，然而并没有人去申请，而且还浪费了一个广告位，这个广告位还很值钱。结果他们就想了各种各样的方法，最后通过 AB 测试找到了一个特别有效的方法，就是把这个广告放到结算的页面里面，当你去结算你的购物车时，它就给你推销信用卡，告诉你可以减30美元。最后发现通过这样的方法，亚马逊卖出了很多很多的信用卡，一年可以带来上亿美元的营收增长。



再说个可以体现界面上内容的展示方式，往往和你的用户行为，和对你产品的理解有很多关系，你通过 AB 测试能更好的理解它的例子。比如说在线教育的课程展示，它原来是左边这种方案，就是把课程按照类型来展示，比如说商务的，或者是外语的，或者是什么什么的，这样一种展示方式，结果转化率并不是特别理想。改了各种各样其他的展示方式以后，发现右边这种展现热门课程的方式特别好，可以提升转化率40%以上。

当然这是因为 AB 测试已经给出了我们很好的结论，那么我们现在能做的事情就是事后诸葛亮，倒推原因。我们说为什么右边会比左边好，通过 AB 测试你就可以理解你的用户，原来这些来报名上课的人，看到按照这个课程的热门程度来进行排序的内容，最后注册的人就多很多，这说明什么呢？可能对这个学生来说，他其实并不是特别在乎你的课程是怎么组织的，他可能更关心的是其他人学了什么，而他没有学，会影响他的竞争力，所以他也要跟着学。



再说一个你可以通过 AB 测试去学的东西，比如说电商这样的产品，你看电商网站，左边是它原来商品的展示方式，右边它只做了一个非常简单的变化，就是把 CTA 按钮和详细描述调换了一个位置，就提升了35%的销量。

也就是说视觉引导这件事情，也是对电商很有用的。用户可能就是看了大标题，看了图片，再看一些内容才决定是否购买，如果你颠倒了视觉引导很可能会影响你的销量。



这是滴滴快车，是我们服务的客户，他们在招募广告方面的策略，我们也给他们提出了很多的建议，以及方案。左边是滴滴原来招募司机的页面，你可以看到从它的文案、图片上，它希望招募来一些很专业的司机，可能是一个白领形象的人，就是说司机是很好的一个职业。那我们就给他提出了不同的方案，比如说中间这个方案，它说的是每天跑一单，油钱轻松赚，这个可以提升18%的注册率。右边的方案是车主招募，他说有车的人都应该来，其实我们有很多有车的朋友，他可能每天比较无聊，可能每天无所事事，那么他可以来做专车司机，这个事情他就可以做起来，而且也不费什么工夫，这样的广告效果是不是会更好？还真的是更好了，注册率提高了21%。

还有很多很多这样实际的例子，那么通过 AB 测试的方法，你就可以一个一个把这些策略，比如说你的营销策略、广告策略都拿去尝试，数字会告诉你，到底哪个更好，你可以在哪个方面投放更多的钱。



除此之外还有类似像小红书这样的电商，他们通过不断地去改，试验各种各样的营销策略，提升它的电商转化率。还有乐动力，他们通过 AB 测试的方法，小流量灰度地发布自己的新功能，保证自己用户的体验，提升用户的转化率。他们有着非常非常高的流量，因为它是一个非常好的健康类的 APP，用户每天早上、晚上，都会用它。如果它上一个功能，不通过 AB 测试这种小流量的方法去发布，直接就上100%，那万一它出了 bug 呢？万一用户不喜欢呢？那是个很大的风险，但是如果先发布1%，或者5%这样一部分的流量，验证了功能确实好，然后再上线，那么它的用户体验就完全不一样了，就会越来越好。

当然了刚才说的都是实战中 AB 测试你能看到效果的，好的地方，但是也有的时候你会发现它很难用，而且很复杂。

AB 测试难点

准确性



AB 测试到底什么地方比较麻烦，第一点可能就是准备性的问题。你在做 AB 测试的时候，很有可能没有做成真正的 AB 测试，比如你选取的流量有问题，你用1%的流量做了个试验，结果你圈中的本身就是一些特别爱点击的用户。比如说 Google，做了一个产品叫 Google+，是个抄袭 Facebook 的产品，在内部它用自己的员工做了一个试验，发现活跃度很高，上线之后，活跃度很低，那么很遗憾慢慢的整个团队都被解散了，这个损失其实比覃超所介绍过的 Facebook 的那个60人的团队要糟糕的多。

敏感性



即使你能够做到很准确的 AB 测试采样，保证流量的准确性，可是还有一个问题就是它试验结果的敏感性。

比如说我们自己吆喝科技的官网，我们也做过自己官网注册页面的 AB 测试，我们上了一个新方案，发现注册率提升了400%多，效果很好，但是其实并不是真的。因为我们试验流量也不是很多，可能只有上千的流量，并且它的实际注册率很低，也就1%到3%这样的规模。

所以你从统计学意义上来讲，我们能够算出来它95%的置信区间，只有从负200多到正1000多，也就是说，实际上从统计学上讲，我们还是没有办法知道到底我们这个版本是好还是坏的。

复杂性



有的时候你的系统、产品、策略，可能比较复杂，做了改版之后，你会发现带来了数据上很大的变化。比如说这样一个改版，上面的点击率提升了，下面这个注册率下降了，然后提问率又上升了，那么它到底是变好了，还是变坏了，还是没有变呢？所以 AB 测试本身试验设计也很复杂，你需要能够设计一个试验，你确实能够衡量它，也确实能够理解它，也需要一些增长黑客自己的能力。

效率

为了提高效率，我们会推荐你去用一些专业的 AB 测试云服务。比如灰度上线、QA、小流量、一键回滚、一键发布这样的功能，实时获取试验结果提高准确性，帮助你加快置信区间的收敛速度，可以做大量的并发试验，轻松地管理海量的试验，通过这种试验的数据积累，你可以积累经验，以后的试验设计就会越来越好。



这是我们吆喝科技提供的 AB 测试云服务，金融类、电商类、医疗类、生活类，什么样的应用都可以用到我们。这里我提一句话，其实 AB 测试这个概念，不管大家做不做增长，你有的时候可能都会想过，甚至尝试过，可能会得到一个悲观的结论，当你需要做测试的时候，你需要你的产品经理还有技术人员写点代码、做分流的控制、做设计。过了几天之后，你得到一些数据，再花一些人把这些数据再写点代码分析一下，最后得出一个结论，这个结论是这个页面点了100下，你的新版本点了95下，你还是不知道它提高了，还是降低了。所以你的结论就是你花了一些时间、花了一些人，然后还检验了一个想法，但是不知道这个结论有没有用，所以你最后得出一个结论就是 AB 测试什么也帮不了你，干嘛做 AB 测试，直接上就完了。

但是实践之中真正的牛逼的增长黑客，或者好的公司他们会怎么做呢？他们会尝试很多的 AB 测试，用很强大的工具，当然包括吆喝科技这样的工具，做很多很多的试验。你7天可能跑100个试验，在这100个试验里面，很可能有60、70个都是既不提高，也不降低的，它没什么用，但是可能会有10几个跟你想的完全不一样，它是降低你的转化率，降低你的营收。也许就有20个，或者10几个提升你的营收。在一个星期里你做了很多试验，最后数据告诉你，你总的提升了20%，那么一个多月下来，你就可以超过竞争对手一倍。

用专业的 AB 测试云服务带来增长黑客的工作革新

所以用这样一种专业的方法，大量地试验，才能够真的帮到你。除了实践中的例子，我觉得 AB 测试给你带来的更多的是工作流程中的核心，就像 Box 的 CEO Aaron  Levie 说的，以往的企业软件是为了提高你当前工作的效率，但是现在的软件在于变革工作本身，你原先的产品、开发、测试和运维的构建，都可以用这种数据驱动的方式，AB 测试的方式来运转。



也就是原来你开发一个新功能，你是直接上线，或者是部分上线，然后通过数据来运维，再来做决策。但是现在不一样了，你设计迭代方案，把这些方案都上了，不光是 A 和 B 了，还有 C、D、F，都上线，通过设定小流量方法来看数据，只有那些成功的方案你才会发布，那些不好的方案你打回重做，通过这样一种方法，你做到了一种确定性增长。



这张图并不是一个虚构的图，它其实是两个同类质产品的变化图，你们可以想象有很多同类的产品，比如说今日头条和鲜果联播等等。那么为什么有的产品它能够不断的越来越好，有的产品却在不断的波动，就是因为如果你采用了这样一种理念，帮助你改进你的革新，那么你在每一次上线的时候，你都已经试验验证过你的方案会更好，所以你每一版都会越来越好，也许在前期你体现不出优势，但是越往后你的优势就会越大。

实际上一些很有名的例子，一些很有名的增长公司都是这么做的，比如说 Aribnb，他们所有的页面修改和流程上的调优，都会通过灰度发布到1%，或者5%的用户，去看访问时间，去看留存，去看下单，只有好的它才会上线，坏的它就会砍掉。

Google 每个月都会做几百个测试，其实有一些给 Google 带来了很多的营收增长，也有很多是很失败的项目。Google 在几百个里面，可能最后有10几个成功了，这些产品经理他们可能很骄傲，自己的产品能够给全世界所有的用户用，还为公司带来了2%营收的增长，仅仅通过 AB 测试的方式 Google 就可以达到华尔街的要求。

有一些东西真的只有测试过才知道，就是产品经理、运营人员、技术人员，没有办法理解的，比如说 Google 的广告位，如果你左移一个像素你就会赚钱，左移两个像素你就会亏钱，没有任何人知道为什么，但是 AB 测试可以告诉你。所有的改动都需要提前经过测试之后才可以上线。Facebook 更是这样，覃超其实已经讲过，他们的移动端尤其如此，会把所有的新功能都集成到代码里面去，然后再把未来6个月要做的试验都集成进去，不断地去测。除了 Facebook 的产品得到提升之外，它还得到一个特别好的口碑叫没有 bug，可以想象 Facebook 几十亿的下载，它没有 bug 是多么的可怕。国内的百度搜索、大众点评、知乎这些网站，他们也都会做自己的 AB 测试，当然他们做的也都很好。

希望大家如果在实战当中要用到 AB 测试工具，可以看微软的科学家 Ronny  Kohavi 总结的八条经验，非常非常黑客的经验：

经验一. 效果惊人，某些很微小的改动，就可能造成对你 KPI 巨大的影响。

经验二. 大多数改动都不会大幅度提升 KPI，所以你需要耐心。

经验三. Twyman 法则，凡是看上去很出人意料的图表，通常都是因为数据统计错了。

经验四. 各个产品几乎都不一样，你复制他人的经验，往往都没有什么效果。

经验五. 任何能加速用户响应时间的改动，都会带来 KPI 的正向提升。

经验六. 点击率是很容易提高的，但是流失率是很难改进的，千万不要把精力放在优化某个页面点击率上。（其实要提高点击率非常简单，你只要在这个页面上加一个大美女就可以了，但是它并不能带来你真正实际上的增长。）

经验七. 尽量不要做很复杂的大量改动的实验，而是要做很简单的小的迭代。

经验八. 几千上万的用户才容易展开高效的 AB 测试。

其实有人就会问了，为什么 Facebook 要做那么大的试验，这就是最糟糕的一种策略，花了很多代价，实际上什么都没有学到，这个就需要我们在工作理念上，首先就能够认识到这一点，才能避免这样的错误。

用户数量是基础，在我们吆喝科技的经验看来，你起码得有几千上万的用户，你才可以去做一些 AB 测试，当然你的用户数量越大，那个测试对你就越重要，我们现在已经有很多很多的客户。

AB 测试是为了发挥人的创造力

实际上 AB 测试这个东西不仅仅可以用到互联网产品里面，还可以用在很多很多其他的地方，比如说 Google，Google 自己的食堂有很奇怪的办公室布景，这些真的是拍脑门想的吗？不是的，Google 的员工也会做试验的，他们会去看餐盘的大小，和员工的病假之间是什么样的联系，是不是增大这个盘子，员工就更容易生病了，那么通过看数据的方法来调整，到底要多大的盘子。

另外还有办公室主题的颜色，Google 会经常去刷办公室的颜色，最后就看到底哪个颜色，可以让工程师代码提交量更多，项目能够发布数量更多。我可以告诉大家结论，紫色的主题颜色能让工作效率更高。

其实当你更有经验之后，你还可以做个性化的用户体验，就不光是 AB 测试了，不同的用户，有不同的体验，你可以自动化的通过数据方法去优化它。

在我演讲最后要强调一句话，我们组织这个活动最根本的目的是希望大家能够变成很好的增长黑客，变成很牛的超级英雄，变成这样的人。人依然是我们互联网技术产品里面最重要的角色，所有的 AB 测试成功案例都是靠人，靠产品经理、靠运营、靠技术、靠市场、靠销售，他们去想出来这些 idea，大量的 idea 通过数据去验证，最后好的 idea 闪光了，成功了，成为我们很多增长黑客的案例。

反过来也可以这样说，有了 AB 测试这样的工具，也可以使我们这些人变得更牛逼。大家知道之前李世石已经0：3告负，那是我们人类真的败了吗？不是这样的，仅仅是在限定游戏规则一下，机器赢了我们而已。在创意、创新、创造上，我们人类依然遥遥领先，希望我们一起发挥力量。

我们增长黑客最需要的就是创造力，这个创造力就是所谓的机器不具备的超能力，AB 测试这样的工具，最终是为了发挥人的创造力，而不是取代人类，这就是我最后想跟大家分享的。

现在就点击“阅读原文”访问吆喝科技官网，免费注册试用 AB 测试云服务。



长按下方二维码，关注“吆喝科技”公众号——影响那些影响世界的产品。

©2016 吆喝科技 保留所有权利



吆喝科技开发的 AB 测试云服务，用数据帮助用户优化产品，是国内唯一同时支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等)AB 测试服务的专业 SaaS 平台。

AppAdhoc 优化平台：能够帮助用户用数据验证最佳方案，提高产品的设计、研发、运营和营销的效率，降低产品决策风险。平台特色包括：线上灰度发布、多维度数据统计分析、科学的流量分配系统、一键发布新版本无需应用市场审核、定向测试等。

    关注 吆喝科技