也许你会说：A/B testing 不就是 hypothesis testing 吗？学校老师教过，很简单。Well, 如果你以这样的心态去面试，那么面10次挂10次，我可以很负责地跟你说。
它其实有很多坑的，一不小心就可能踩到。我帮你做了一个踩坑总结。
回答A/B testing 面试题容易踩的第一个坑：设置 hypothesis 和 sample 时容易踩的坑。咱们用 Uber A/B testing 面试题举例说明：
这道题是这样的：在 peak hour 我们的供小于求，如果我们给每一位司机增加 $5/hr, 你觉得可能解决这个问题吗？Design an A/B test for us.
如果你说很简单，hypothesis 就看如果给司机多 $5/hr, 会不会有更多的司机会在 peak hour 开车，如果是的话，那么这个 test 就是成功的。Well, 错了！Uber 想让你踩的坑在这里：
-
原来在 off peak hour 开车的司机因为有了奖励机制，改成只在 peak hour 开车，你觉得会发生什么情况？
-
本来就在 peak hour 开车的司机因为有了奖励机制，改成只在 peak hour 开车，你觉得会发生什么情况？
-
就算有更多的司机愿意在 peak hour 开车，但他们的 #trips/hr 很低，你觉得对缓解供需不平衡有帮助吗？
A/B testing 面试题容易踩的第二个坑：Roll out test schedule 的时候没有考虑到 network effect.
比如，
每个城市的供需在 rush hour 都是不一样的，那你觉得在设置 KPI 的时候，应该怎样设置 KPI 才能 compare apples with apples, 才能更具严谨性和可参考性呢？Furthermore, 当供需渐渐趋于平衡，那么我们的 peak hour surchage 也就没有了，这有没有可能导致 profit errosion? 或者，如果我们解决了供需不平衡的问题，但是出现了供多于求的现象，那么这个测试还是成功的吗？该如何解决这个问题呢？
现实中的实际商业问题要比学校里教的难多了，有很多考量，而且必须权衡左右，最后得出一个 optimal 的解决方案。这就是学校和职场的差别！A/B testing 经常在 hiring manager 这一轮考。
如何回答 Amazon A/B Testing Case Study 面试真题，Do's and Don'ts
应届毕业生没有美国工作经验, 或者跳槽转行没有相关工作经验，如何才能拿到 DA/DS offer? 到达终点最快的方法就是，首先你要知道终点在哪里，才能目标明确地去努力，否则所有的努力都是盲目的。我对美国公司的用人标准和技能要求了如指掌， 我帮你概括了 data analyst, data scientist 面试中要的 industry knowledge 是如何通过数据分析来体现的，这样你就可以有的放矢地去准备面试！
