如何回答  DA/DS 面试中的 A/B Testing 问题

不能因为 CTA 低了，所以立马确定这个 A/B testing 是失败的。This is called: linear thinking. 如果你立马有答案，那一定是错的。

同学一会儿说这个 recommendation service 是失败的，一会儿说这个 recommendation service 是好的，可能是推荐的产品有问题。

究其原因是因为她不知道 interviewer 想问她什么，所以当 interviewer 在和她对话的时候，她会非常简单地又是比大比小，所以才会产生自相矛盾的问题。

Interviewer 其实想推动她想，所以会 provide her with input, 来提供各方面的信息，让她开始思考，这些应该是思考的起点。很可惜同学没有 get 到。

就是最后同学也问：根据你面试里讲的 CTA下降，我该怎么回答呢？其实答案是什么不重要，重要的是你怎么把这个答案想出来的，这个思考过程是公司要的。

Ask this question instead：

Let me make sure the CTA truly went down. So may I ask what is the actual number of clicks and page views in this case? Did both go down or it is actually more complicated than this?

因为分子分母就是都上升，因为它的 velocity 不一样，也可能导致 CTR 下降的。所以首先你要知道到底发生了什么，否则怎么回答都是盲目的。