Categories
互联网产业观察

新媒体营销中随机分组实验的失败

这个话题可以很深,我这里只是随便写写。当然我也不去定义什么是“新媒体”了...基本上下面可以视之为社交网络媒体。此文纯属若干无知的随便念叨,内行请无视。

记得原来在做社会实验的时候,最头疼的就是网络效应——这东西会让你的随机分组失效。如果网络扩散是均匀的也就罢了,这东西还不均匀,搞得随机分组基本上被破坏殆尽。今天和做社会网络营销这块儿同事聊起,发现他们在新媒体营销上也是遇到了类似的问题——传统的A/B test基本失效,因为control组会被极大程度的“污染”。和电视营销的地理隔离还不一样,社交网络是无孔不入的...

但是偏偏,我们还是希望可以利用这样的网络效应的——主动的传播岂不是更好?于是问题就变成了如何去精准衡量网络效应。

从我们以前的做法(可以参见我的硕士论文,in English),基本上是需要动用IV的...哎,然后这个IV还其难找无比。有些幸运的情况,IV是可以找到的,但是也需要一些外在的shock强行的打破现有的网络连接。

如果说要找一种比较简单的做法,那可能就是类似于spatial econometrics他们做的那样,对各个个体在空间中的位置进行加权。比如你要衡量微博营销的ROI,肯定要跟踪到实际覆盖的个体,然后在构造了网络结构的基础上,对个体的位置进行加权。但是讨厌的是,位置或者连接这些东西都是内生的...所以需要去找自然实验,然后去找工具变量...

总而言之,在我读过的为数不多的paper里面,可以很好的衡量网络效应的很少,而那些极少的还是控制了可控的资源的(比如实际的物品发放而不是新闻式传播)。感觉受新媒体的影响和冲击,很多传统的营销方式都在面临着极大的变化,做的好的往往不是分析人员算出来的而更多的是营销人员一步步摸索出来的...

所以,其实我想说的是,可能需要增加一些更好使用的指标来衡量新媒体营销的力量,而不是期待更好的分析方法的改进来支撑营销。后者还需时间来打磨(如果不是case by case的找IV的话)...

Categories
事儿关经济

社会实验的特殊性(一)

“实验经济学”这个名词儿可能很多人都觉得蛮耳熟的了,此外社会实验无论是在学术界还是业界都蛮热的。鼓捣出来个什么东西,总要做个实验有个对照才好说效果什么的是吧~

最近一直在想,社会实验这个东西到底有什么特殊性?可能和自然实验相比,最大的不同之处就是反馈回来的是依据人的决策而表现出来的行为,而不像自然实验那样是有既定的物理化学反应过程的。从这个角度而言,我们研究人们的行为的时候,便多了一些更高层次的考量——毕竟人是有思维能力的高等动物,简单的生物学上的“反射”行为可能并不足以完全的解释人们行为的多样性。这也是我为什么觉得economics特别有意思的缘故吧:从工具的角度,我们大量的应用数学、统计学、物理学乃至生物学的成果;从思想的角度,我们在将历史学、心理学、社会学、法学、地理学、人类学、政治学等等融会贯通。有的时候真的觉得越来越难以对economics下一个定义,很多的时候很多交叉的领域让什么定义都觉得没有立足之地。前面说的,大致可以对应为数理经济学、计量经济学、金融物理学、神经经济学、经济历史学、经济心理学、经济社会学(social economics)、法经济学、经济地理学、政治经济学(特指研究政治问题的经济学分支)等等。每一个领域都可以拎出来无数的论文,所以有的时候真的很难以说经济学是一门什么样的学科了。简而言之,研究人类的行为吧,毕竟我们还主要关注在“人”和“行为”上,虽然这个定义也难免让人觉得日渐模糊了。

正因为经济学的社会科学的本质,所以在借鉴自然科学的方法的时候自然也理应格外小心。比如做实验,怎么选取实验组和对照组就是一门很大的学问:人和人不可能完全相同,怎么选两个组之间还是会有一些差异是不可控的。生物学可以用(同卵)双胞胎来做实验,但是这个对于需要田野实验的经济学来说显然是可望而不可及了。此外,继承这个问题,当我们去检验社会实验的结果的时候,又应该有什么样的补救之策呢?

原来看经济学的论文很简单,大家一个“随机分组”就涵盖了所有的东西。反正是随机的嘛,什么都是外生的。但真正到自己手里做实验的时候,却还是有蛮多疑虑的。怎么随机、算是随机?从自然科学的角度,最理想的状况就是实验组和对照组在实验之前“一模一样”。比如我用同一块铁、同样的盐,当然这个总会有一点误差,但足够小以至于可以忽略不计了。可是,当我们在社会实验中,还可以这么天真的假设人和人之间的差异性不大,故而从大数定律来讲只要样本足够大、我们总会得到一个一致的ATE(average treatment effect)估计吗?我心中还是难免有一些疑虑。这种疑虑一是来自于对极端事件发生的担忧(比如随机抽取之后两组出现显著差别,并且可能会直接影响结果,这样结果就多含了一个我们难以剥离开来的分组因素),另一个则是对于ATE的不够细致的感觉。ATE固然好看,但是我们制定策略的时候还是更多的希望适用于每个个体,到底在个体层面这个treatment effect有什么样的差异呢?这个问题并不是毫没有意义,也不是完全没有办法回答的。

在这种种的疑虑中,就多少觉得这个社会实验还是要慎之又慎才能期待一个比较稳健的结果。所以,从我的角度,事先的分组要慎之又慎,事后的结果检验也要因情况选择最合适的方法。两者结合起来或许会控制的比较好一点吧。

刚刚发现手头没有 Mostly Harmless Econometrics 这本书,觉得还是有一本时常翻翻比较好,就从Amazon痛下血本买了……痛是痛在运费,倒不是书费,呵呵,买书总是不心疼的。后悔当年没有直接带回来。还有顺便买了Motta那本书~话说,上次kindle返修之后居然给我留下了25刀的gift card,不用白不用,意外的惊喜啊~amazon真是慷慨,相比而言国内的那个卓越亚马逊真是让人失望,先买的书架后买的书,书都到了书架还没发货!唉!

Categories
事儿关经济

自然实验,社会行为,etc.

老天原谅我在这个考试周前万分紧张的时间还奢侈的写日志吧。这篇日志起源于我今儿上午很奢侈的看了一会最新一期的AER。 我实在是太怀念AER红色的封皮了,想当年,天天泡在院里资料室的时候,几乎每一期AER、QJE、JPE都会翻翻,看看人家都在干嘛,虽然也知道这些期刊上的文章某种程度上都是有些陈旧的了,不过关注一下他们的idea也是一件不错的事儿嘛。

没想到来这边之后,反而失去了不禁阅读这些期刊的机会。所以今儿看到AER的时候,那种久别重逢的兴奋,溢于言表。

这期AER上有两篇文章很吸引我,至于详细的内容我列在英文博客上了(谁让我先打开了英文博客然后开始写东西呢?这里再把所有的东西都翻译一遍实在是太无趣了,索性就不翻译了)。先说一个人,李欣(Sherry Xin Li ),是其中一篇文章的作者。让我怀念的是今年春天在清华蹭课蹭讲座听的时候有听过她的讲座,是当时少有的感觉很有意思的东西——在《第二人生》这个网络游戏里面做的一些实验。她让我关注的一大原因是她的很多research是基于网络市场的,而我自然很关心网络市场是怎么被经济学家们研究的。AER的这篇有点类似于对豆瓣的研究,关注的是一个电影评价网站,什么情况下人们会更乐于奉献之类的。蛮有趣的,关系到公共物品和社会行为,都是我感兴趣的话题。

然后不出意外,看到一篇和social network相关的。是一篇网络博弈的。今年数数看已经看了不少网络博弈的东西,开始的时候其实对这玩意不太感冒,后来看多了也觉得多少有点意思了。这篇文章很能迎合我们的直觉,记得有一次看到一个朋友写过这么一个故事(貌似以前在说从众行为的时候有提到过):

我曾经在工作中下意识的使用过从众的理论,比如说在网站改版的时候,大家知道,网民通常会反对的,这时候,如果我直接发一个公告,后面肯定一堆人骂;所以 我后来再发此类的公告,都会先找几个人在下面说点好话,但是我发现,即便如此,后面的人还是照骂,我就奇怪了,你们咋不从众呢?后来想想,是因为在网络 上,人们之间互不认识,也对不上脸,所以就不担心其他的人觉得自己怎么那么蠢?也就不介意说出自己真实的想法。

所以,如果我现在来做这个事情的话,可能就会稍微改变一些,首先,我会让意见领袖在公告下面支持我,这样,很多人就会想,那谁谁谁都说好,那就一定 好,之所以我觉得不好,是因为我根本就没发现其中的美好吧?此外,我还会争取用事实说明改版到底为什么好,再加上我本身的公信力,把“好”内化到会员心里。

这里虽然是一种对于从众心里的应用,但是换到一个社会网络的角度,就是一个人们对于信息摄取过程的区分。有些人乐于在搜集信息上投资,这部分人经常被产品销售商定位于“尝鲜者”,类似于某某新科技刚出来就被某些狂热粉丝追捧。有些人乐于投资在建立社会网络的联系上,以期从社会网络中获取更多的信息。这样,在一个社会网络/群落中就形成了一种博弈。这篇文章说的就是这种博弈均衡的存在以及影响的因素,虽然模型相对比较简单,数学上的技术处理也挺无聊的,但是看看这样的直觉上的启发感觉还是蛮好的。突然发现某种程度上,找回对于经济学的触觉最好的方式或许就是多多的读一些东西,首先不能局限于那些整天赶着人跑的problem set,其次也不能屈就于被动的在讲座上被灌输一堆数学公式。毕竟从经济学的角度看,模型背后的经济意义才是更为重要的。作为一个普通人,谁关心为啥“囚徒困境”一定有纳什均衡解呢?只要知道均衡是什么、为什么、怎么可以被改变就可以了。

呃,回到复习中去了,毕竟现在是考试周了没有时间用来挥霍了。然后接下来开始关注我的master project,天知道这会不会是接下来一段时间内唯一一篇以写论文的方式写的东西了。这次有意思的很,会做一些social network的应用,而且很可能是在health economics领域,这大概是我以前从来不曾预期、周围了解我的人也不见得预料的到的一种组合吧。不知道最终会做成什么样子,但愿不会太让人失望。不过考试周啊考试周,唉。当学生就是如此命苦啊。

Categories
互联网产业观察

维基百科被“墙”后启发了经济学家什么?

不知道为什么,最近我总是能无意间发现一些很有意思的东西。比如今天本来只是在看传说中的复旦青年学者宋铮发表了一篇AERAmerican Economic Review,《美国经济评论》,全世界最好的经济学学术期刊),但是无意间却发现了一篇已经通过AER审核待印刷的文章,那就是《群体规模和贡献激励:在中文维基百科上的自然实验》(Group Size and Incentives to Contribute: A Natural Experiment at Chinese Wikipedia)。乍看这个题目,挺学术的嘛,其实就是研究,在中文维基百科被“墙”了之后,贡献者的一些变化啊什么的。这篇文章的作者张晓泉和朱峰(音译)分别是香港科大和南加州的。

文章不是很长,具体的计量啊、经济理论啊细节们我就不说了。我们感兴趣的是结论嘛!结论大致有二:

  • 如果某一词条合作者越多,那么每个人的贡献就越多。通俗点就是,现在不是三个和尚没水喝,而是三个和尚水多多(感谢原作者Michael纠正)!
  • 那些更为关注社会利益的人对这种变化反应更大 。通俗点就是,爱之者心切。

为啥我这么关注这篇文章呢?要知道对于经济学家们来说,自然实验是“可遇而不可求”的!既然我们伟大的 功-G 夫-F 墙-W 可以为经济学的发展做出这么卓越的铭记历史的贡献,那么我们真的应该好好感谢它,感谢国家花了那么多科研经费、耗时那么多年、呕心沥血前赴后继的进行封锁。话说,此次的苍井空事件,是不是也是一个绝好的“自然实验”呢?有人说经济学家是“不讲道德”的,那么我们就不妨以小见大……

其实我一直想研究的一个题目就是:信息技术的发展到底是减少了信息不对称还是加剧了信息不对称?由此延伸下去,可以进一步探究,信息是否推动了经济发展(注意是发展而不是增长)?看起来蛮有趣的样子。

注:原文下载http://blog.mikezhang.com/files/chinesewikipedia.pdf (这两位作者貌似很关心有多少人下载他们的文章呢,各位给点面子下下来看看哈!)