题外话若干。本来是打算老老实实呆在家里，吃饱了睡，睡饱了吃，吃饱睡饱看奥运的。结果想起来有个电影还没看，搜了一下居然已经上映了，果断下手抢票。可怜唯一的一个场次还是晚上十点半，索性先写点东西再出门看电影嗯嗯。这么晚了，只能一个人去看了，真伤不起啊～
继续说Rao的paper。和昨天说到的那篇相关，这里还有一篇working paper也是在说在线广告的评估问题。
On the Near Impossibility of Measuring Advertising Effectiveness (joint with Randall Lewis)
先看paper中引用的几个数字：
1. 每天，美国人平均要看25-45分钟的电视广告，另加不计其数的户外广告和网络广告。
2. 一些商业报告指出，每年美国的广告业营业额大概在1730亿左右，等价于每人每年500刀。
3. 那么平均算下来，广告投放者每人每天得拿到净利润1.35刀才可以盈亏平衡。
4. 按照企业平均边际收益水平计算，这些大概会带来4-6刀的产品销售额。
嗯，也就是说，我们扪心自问——每天我所花费的钱中，至少有5刀是被广告影响的？而对于不同行业不同产品，比如快消品和汽车广告，前者可能在每个消费者上得到的收益差不多，而后者可能会相当极端——要么是数千数万的消费，要么就是0，波动蛮大的（即方差很大）。这样说来，广告投入到底花的值不值呢？这个评估命题显得有点错综复杂了。
Rao在Yahoo!的时候，他们做了25次在线广告的随机实验（对应广告费为近三百万刀），然后发现，就算是大样本实验，由于个体的差异性太大造成太多噪声，广告的效果可能被因此低估。很多广告主关心的问题，就算借助实验，可能也是无法完美回答的——平均的ROI可能达到50%，但是鉴于方差实在太大，95%的置信区间可能就异常之宽了。这样，显著性检验什么的就很难拒绝“0效果”的原假设了。
与此同时，不做随机实验，效果更加的不可信...总之就是，这东西确实太难评估了，不做实验完全不可信，做实验也没法特别完美精确的评估...呃，听起来就像一个互联网广告评估的“不可能定理”...在互联网这样可以很好的跟踪用户点击什么的平台都没法评估广告效果，那么传统媒介如户外广告什么的，是不是评估就成为了更加困难的任务了呢？哎，数据完全不给力啊...也难怪我们这些天天做事的人痛苦的挣扎在评估指标的各种纠结中...
不过这篇paper，看起来真没营养啊...果然还是econ出身的，marketing sense不是那么强烈...哎~以后还是看看marketing science的paper好了。