Category: 经济、IT观察与思考

Categories
事儿关经济

社会实验的特殊性(一)

“实验经济学”这个名词儿可能很多人都觉得蛮耳熟的了，此外社会实验无论是在学术界还是业界都蛮热的。鼓捣出来个什么东西，总要做个实验有个对照才好说效果什么的是吧～

最近一直在想，社会实验这个东西到底有什么特殊性？可能和自然实验相比，最大的不同之处就是反馈回来的是依据人的决策而表现出来的行为，而不像自然实验那样是有既定的物理化学反应过程的。从这个角度而言，我们研究人们的行为的时候，便多了一些更高层次的考量——毕竟人是有思维能力的高等动物，简单的生物学上的“反射”行为可能并不足以完全的解释人们行为的多样性。这也是我为什么觉得economics特别有意思的缘故吧：从工具的角度，我们大量的应用数学、统计学、物理学乃至生物学的成果；从思想的角度，我们在将历史学、心理学、社会学、法学、地理学、人类学、政治学等等融会贯通。有的时候真的觉得越来越难以对economics下一个定义，很多的时候很多交叉的领域让什么定义都觉得没有立足之地。前面说的，大致可以对应为数理经济学、计量经济学、金融物理学、神经经济学、经济历史学、经济心理学、经济社会学(social economics)、法经济学、经济地理学、政治经济学（特指研究政治问题的经济学分支）等等。每一个领域都可以拎出来无数的论文，所以有的时候真的很难以说经济学是一门什么样的学科了。简而言之，研究人类的行为吧，毕竟我们还主要关注在“人”和“行为”上，虽然这个定义也难免让人觉得日渐模糊了。

正因为经济学的社会科学的本质，所以在借鉴自然科学的方法的时候自然也理应格外小心。比如做实验，怎么选取实验组和对照组就是一门很大的学问：人和人不可能完全相同，怎么选两个组之间还是会有一些差异是不可控的。生物学可以用（同卵）双胞胎来做实验，但是这个对于需要田野实验的经济学来说显然是可望而不可及了。此外，继承这个问题，当我们去检验社会实验的结果的时候，又应该有什么样的补救之策呢？

原来看经济学的论文很简单，大家一个“随机分组”就涵盖了所有的东西。反正是随机的嘛，什么都是外生的。但真正到自己手里做实验的时候，却还是有蛮多疑虑的。怎么随机、算是随机？从自然科学的角度，最理想的状况就是实验组和对照组在实验之前“一模一样”。比如我用同一块铁、同样的盐，当然这个总会有一点误差，但足够小以至于可以忽略不计了。可是，当我们在社会实验中，还可以这么天真的假设人和人之间的差异性不大，故而从大数定律来讲只要样本足够大、我们总会得到一个一致的ATE（average treatment effect）估计吗？我心中还是难免有一些疑虑。这种疑虑一是来自于对极端事件发生的担忧（比如随机抽取之后两组出现显著差别，并且可能会直接影响结果，这样结果就多含了一个我们难以剥离开来的分组因素），另一个则是对于ATE的不够细致的感觉。ATE固然好看，但是我们制定策略的时候还是更多的希望适用于每个个体，到底在个体层面这个treatment effect有什么样的差异呢？这个问题并不是毫没有意义，也不是完全没有办法回答的。

在这种种的疑虑中，就多少觉得这个社会实验还是要慎之又慎才能期待一个比较稳健的结果。所以，从我的角度，事先的分组要慎之又慎，事后的结果检验也要因情况选择最合适的方法。两者结合起来或许会控制的比较好一点吧。

刚刚发现手头没有 Mostly Harmless Econometrics 这本书，觉得还是有一本时常翻翻比较好，就从Amazon痛下血本买了……痛是痛在运费，倒不是书费，呵呵，买书总是不心疼的。后悔当年没有直接带回来。还有顺便买了Motta那本书～话说，上次kindle返修之后居然给我留下了25刀的gift card，不用白不用，意外的惊喜啊～amazon真是慷慨，相比而言国内的那个卓越亚马逊真是让人失望，先买的书架后买的书，书都到了书架还没发货！唉！

Categories
互联网产业观察

怎能寄希望于不染青莲

我还是没忍住，索性说说对于百度最近被各种攻击的一些看法吧。

前段时间打开电视，习惯性的就调到CCTV 2 去了。我说过了，我还是经常看CCTV的，毕竟上面很多信息还是有用的。在我已然被隔离了一年不知道这些热播的电视剧说的是什么的今日，打开电视调到CCTV或许并不是一个坏选择。

然后很意外的看了很久对于Baidu的批判。虽然稍早的时候在网上看到大家说起这个事儿，但是还是抵不上自己看一遍来的深刻。貌似，前些年的时候也有过类似的报道。怎么，旧闻重提？

实话说，我原来是不用百度的，因为觉得上面的信息太繁杂，一个个辨认起来太麻烦，有的时候还是google更符合我的习惯。这就像开始的时候我是有点不信任淘宝的，因为淘宝上各种劣质品我未能幸免的被忽悠了好几次。但是现在我还是整天上淘宝买东西。为什么呢？因为淘宝商城确实是有很多好东西的，再说现在不是还有一个东西叫做“退货保险”么？怕什么！

说到百度，对我来说和早年的淘宝并无二致。这都是中国的互联网大环境在那里摆着的结果。你能指望一个企业来承担所有的社会责任吗？总是期望企业来“出淤泥而不染、濯清涟而不妖”，这真的公平么？为什么没人去要求工商部门更细致的监管？如果这些甄别信息的成本强加在一个企业身上，那么我们能期望的唯一结果就是一个更没有效率的搜索引擎。人家总是要养活自己的是不是？羊毛总得有出处。在经济学上，有个词儿大家可能并不陌生：市场失灵 (market failure)。说的就是一种类似于“劣币驱逐良币”的过程——当甄别信息的成本太高的时候，我们只能漠视劣质品充斥市场。

我还说说淘宝吧。记得当年第一篇正儿八经写的论文立题便立于机制设计，说的是淘宝各种交易机制为什么、在什么程度上有效。当年淘宝商城刚刚推出来，最大的区别就是进入门槛的提高，所以我写起论文来也很容易，一个机制设计上的改变就足以把劣质品驱逐市场。经过时间的检验，我感觉淘宝商城的认可度确实越来越高，也给予了一大批诚信的中小企业低成本进入市场并进行产品推广的平台。譬如我很钟爱的衬衣品牌：鲁泰。原来的时候要买鲁泰好不方便，要去实体店。去了跟营业员一聊来的都是回头客，因为鲁泰主要是做出口的，国内市场广告偏少，很多人都不知道这东西。再者它价位也确实有点偏高，很多人可能不觉得衬衣值这么多钱。最近发现鲁泰出了一个低端品牌（虽然不是我最钟爱的格蕾芬……）挂在网上卖，物美价廉啊！一下子很爽的买了很多很多东西，家里人也都很满意。所以，我对淘宝商城总是蛮欣赏的，这样的一个平台确实造福了很多中小企业和消费者。

现在回头看当年的那篇论文虽然稍嫌幼稚，不过分析问题的出发点我还是觉得蛮好的——首先要给定的是一个噪音很大的市场，各种优质品、劣质品混杂，有效的信号传递实现起来就比较困难了。所以，合理的机制设计是在保证信号的一定传递水平下、最小化社会成本的机制。这里的社会成本更多的是一种和市场上信息是完全的理想状况相比下、效率损失上的概念。毕竟，制度都是有成本的，这个成本则需要用一个机会成本的概念来衡量和审视。

回到百度。作为一个企业，它的价值在哪里呢？当然，这里立足于我自己的价值观，一个企业的价值取决于其创造的社会价值。简而言之，我们可以接受完全没有百度的日子吗？（假设没有其他的完美替代品）。如果有比百度更有效率的企业，那么显然的它早就占据市场了（剔除各种制度因素和进入壁垒）。百度固然不完美，但是它竞价排名本身的机制并不见得有错。

刚刚看到周涛的一篇文章：《科技日报》关于搜索信息规范与公平性的采访。他的大多数观点我还是赞同的，虽然从技术/算法角度出发的意味很强。我先承认一点很无耻的，相比于公平，经济学更关心效率。当然在效率的定义上我们可以考虑进去公平的因素，这里可能就牵扯到一个社会效用函数的问题：你怎么来衡量一个社会的效用？简言之，你觉得什么是公平的？行为经济学从个体的角度出发有一些涉及“公平 (fairness)”的模型，大致的做法就是在个体的效用函数里面引入一个项来考虑别人行为给自己带来的效用，有点从“外部性”角度出发的感觉。那么对于百度，如果我们假设它是一个理性的经济人（经济个体），那么当外界对它的质疑真正影响到它的收益的时候，自然它会选择一些新的做法。所以从我的角度来说，开发新技术或者更简单的实施新算法（譬如周涛提出的个性化搜索）固然重要，但是这样的运营的成功大概是远远离不开一个合理的机制设计的。

最简单的机制设计理念从我的角度而言可以追寻到科斯定理，在这里或许可以阐释成不同的“物权/收益所得权”分配会造成最终结果的效率不同。这里这么说科斯定理，前提的假设自然是交易成本是存在的。在一个噪音很大的市场，交易成本非但不能被忽视、而且要足够的重视起来。现在我们所面对的互联网市场或许就是这么一个噪音很大的市场。可用的信号诸如信誉也不再一如既往的被人认可（譬如蒙牛的三聚氰胺、山西陈醋的勾兑），新入市场的个体更加是难以建立自己的信誉。那么，怎么能期望不通过机制设计就获得一个相对而言有效率的市场结果呢？

我并不是一味的鼓吹机制设计的重要性。从百度来说，如果他换算法，自然就是对市场机制的一种改变。只是除了算法的改变，还有一些其他的机制设计可能可以被实行。只是百度面临的问题不像淘宝那么直接（后者背后有具体的实物交易），所以我一时还真不知道什么样的机制对于百度这种状况是最佳的、又有什么措施是实践中可以实施的。有些东西或许真的要等待实验结果。

最后，还是说一句，别一味的指责百度了，这不是它一个人的错……就像我们去买地摊货，回来发现不好用或干脆不能用，你会第二天去找城管说立马给我取消这个夜市吗？毕竟还是有需求有供给的。如果大家都不是抱着占小便宜的心理（譬如那些搜索“信用卡套现”的，自己就明知违法吧？），那么很多时候提高警惕是可以防止被骗的。还有，新闻报道为了吸引大家眼球往往是非常有选择性的采取个例。极端个例当然是值得我们警示的，但也不用一拍子拍死所有人哈！在这个混乱的市场环境中，消费者本身也应该有自己的判断力和理智，不要太贪小便宜。天下怎么会有那么多免费馅饼呢是不是？我原来就很喜欢看淘宝社区的防骗技巧，蛮受用的！毕竟人多力量大，群众的眼睛是雪亮的！

Categories
网络新发现

As a designer...

在巴塞罗那的时候因为周围的一票人都是学经济学的，所以跟他们没啥好显摆的，除了做中国菜让他们解解馋之外。然后我们不断的要做presentation，所以彼此间必然经常交流present的技巧。除了言语技巧之外，用来做展示的slides自然也是着重点之一。呃，可能久而久之，我就养成了一些小小的洁癖，比如用惯了latex之后看到word的排版就觉得难看，用惯了PS和illustrator之后再也无法忍受乱糟糟的图文混排……这一小洁癖集中体现在我的硕士毕业论文里。本科的时候毕业论文没什么可以修饰的，版式是规定的。可是硕士毕业论文要求有封皮，学校又没有统一的，所以我就很happy的自己design了一个。只可惜时间比较紧，没有好好的想想应该怎么更好的设计，不过凑活着也吸引了很多人的眼球，所谓“先图夺人”吧。这个坏习惯体现于我经常用"as a designer"做借口要求返工某些东西，弄得我的合作者有时候只能吹胡子瞪眼的等着我完工。哈哈，可见实在是没什么可卖的了，以前短短的设计师经历也可以拿出来不时晒晒，脸皮真的是越来越厚了。

学术论文插图都是有既定的规范的，能发挥的空间不多。但是离开学术界、在业界，这个对 visualization 的要求就越来越高了，除了“达意”之外，还要讲究美观，明显的科学与艺术的结合。在巴塞的时候有个朋友是设计师，就整天给我灌输各种设计理念，可惜我别的没记住只记住了一个词儿，infographic，大意是基于信息产生的美好图形。从这个角度来说，它和一般意义上的统计图形还不一样，除了要求更好的展示数据之外，将多个图形放在一起展示的时候还要有一个合理的设计布局。

当时他还推荐给我一个站点，今天又翻出来看了看，还是有耳目一新的感觉：www.informationisbeautiful.net。嗯，然后一路找下去，还有几个值得订阅的，除了常年关注的flowingdata.com之外，还有新起之秀Visual.ly，以及www.coolinfographics.com和dailyinfographic.com。习惯阅读器的省心了，这些都有RSS支援，直接扔到Google reader里面就好啦。

好吧，最后还是随手贴两张图吧：

Peak Breakup Times according to Facebook

Who's Suing Whom in the Telecom's Trade

希望我这小小的洁癖不会影响以后的工作啊～学会妥协先。好吧，该学学怎么做PPT 了……

[另：在落园完成两个域名完全同步之前，暂时停止更新一段时间。这样两边各发一遍实在是太折腾了。目前的计划至少是弄成MySQL同步，当然也可以考虑生成静态html文件把loyhome.com完全作为一个镜像站。我还没想好那个可实施性更高，但是现在这样确实对于搜索引擎收录是有影响的。趁这几天努力施工咯！]

Categories
事儿关经济

数据挖掘 vs 计量经济学 (Data Mining vs Econometrics)

先说一下免责声明：我在数据挖掘 (data mining)和计量经济学 (econometrics)两方面涉猎都不算深入。今天斗胆写这么一篇文章主要是最近在看data mining的东西，有一些小小的体会，故记录下来以备后用。

Data mining是最近几天热起来的东西，而由于其中文翻译又可译作“数据挖矿”，所以做data mining的人有的时候也被戏称为“矿工”。Data mining和近十几年的信息化潮流密不可分——若没有计算机在各行各业的大力应用，又怎么可能会有这么大规模的数据用来分析呢？简单的说，data mining有点“透过现象看本质”的味道，在大家还都在“雾里看花”的时候，data mining致力于“拨开云雾见月明”。当然一个最经典的例子就是“啤酒和尿布”，即经过统计发现男士购买尿布的时候也容易购买啤酒，所以把他们两个放在一起可以很有效的提升啤酒的销量。所以从我个人的浅薄理解来看，data mining更多的就是利用计算机高计算性能把大规模数据一一的进行模型匹配，然后按照我们制定的标准来返回最优的模型。

至于econometrics，它又想回答什么问题呢？我虽然一路经济学出身，计量却只是当工具学的，从未研究过怎么开发工具，这里只从应用计量经济学的角度来说说我看过的研究。嗯，我们可以说在计量经济学里面总是在做“回归分析”(regression analysis)，即给定一个感兴趣的变量，把其他的可视作影响因子的东西扔到方程右边。从广义矩估计的角度来说，即在一阶距为0的前提下（小样本下无偏）、最小化二阶距为目标（OLS方法，欧几里德空间内的距离按||·||2来算）进行拟合。当然简单的回归一定是有问题的，得出的结果最多能说明两个变量之间的“(线性)相关性” (linear correlation)而无法提供进一步的原因：到底是由X导致了Y，还是有其他的因子同时作用于X和Y从而他们显示出一致的变化趋势。从经济学的角度，我们当然更感兴趣什么东西导致了Y，所以在大样本下从寻找一个consistent估计量的角度出发，我们一般要求X是外生的，要不就需要借助IV等其他方法了。如果所有的方程右边的变量都是外生的，那么我们就可以放心的说这里面有“计量上的因果关系（causality in econometrics，这里定义明确一点要不又要被Yihui兄等统计学出身的批判了）”。所以说到这里，我可以小心翼翼的说，econometrics毕竟是和经济学紧密相关的，所以我们感兴趣的是变量之间的“谁导致了谁”的关系，而寻求这种答案的途径之一就是让足够的数据来说话。从这个角度来说，我更倾向于把计量作为检验 (empirical check) 经济理论的一个工具。至于我们怎么可以保证X的外生性(exogeneity)，那就是要具体问题具体分析了。两种主流的观点是要么依据一个经济理论中的structural的模型来进行估计，从而什么是外生的一目了然；要么做（随机）（田野）实验 (randomized field experiment)。我感觉近两年两者结合的趋势越来越多，毕竟做实验的那群人不是什么都不知道就去试一通，他们很多时候也是依照现有的经济理论进行随机化实验设计的。从这个角度来说，实验更是检验理论的一种途径了，先不论它可以在什么程度上回答一个（经济学）理论问题。

那么数据挖掘和计量经济学直接是冲突的、还是互补的、抑或其他呢？简单的一路看过去数据挖掘的介绍，譬如Wiki，大多数时候看到的是从计算机或者统计学出身的人写出来的方法论上的东西，缺少有人直接论及这东西和经济学是怎么结合的。我也只是粗粗的搜了一番，找到的只有一篇简短的文章：Data Mining in Economic Science，by Ad Feelders。先引用一下它开头引用的一段话：

Let neither measurement without theory nor theory without measurement dominate your mind, but rather contemplate a two-way interaction between the two, which will your thought processes stimulate to attain syntheses beyond a rational expectation!

Arnold Zellner

大意就是说“我们不应一味迷信数据不顾理论，但也不宜欢迎没有现实世界数据支撑的理论”。这篇文章不长，感觉作者可能是更偏向宏观经济学（macroeconomics）分析，所以例子都是宏观中经典的譬如体现凯恩斯主义的IS-LM模型。作者的观点是，很多经济理论并没有直接的给出一个特定的模型设定，所以数据挖掘的方法可以用来选择最优的模型（依稀记得某宏观经济学家曾在上世纪90年代就一一试过1700多个线性模型……当然现在看来他的分析难逃内生性问题的争议，不过这大概是我所知道的最早的和数据挖掘思想相近的尝试吧）。后面还提到时间序列分析VAR模型（vector auto-regression），这个我有点不喜欢VAR的思想，所以不再多做评议。

回到那个啤酒尿布的例子，我想到的是，确实，这个统计结果出来之后经济学家可以很容易的解释“为什么”，但是经济学理论却难以告诉我们在某个（微观）实例中到底反映这种理论力量的“是什么和什么”。与我来说，经济学的 explanatory power已经很强大，但是具体到一个可以操作的层面还是需要其他技术来支撑的。如果我们可以通过数据挖掘在找寻可能存在关系的两个变量（此例中啤酒和尿布），那么就可以依据经济学理论进行可能的解释，然后还可以进一步设计随机对照试验，分析试验结果则是计量的用武之地了。

嗯，这大概是我刚刚接触数据挖掘的一点感触，不知道几分正确几分错误，或许若干年后回头看就会觉得有些幼稚了。最后想说的是，从我个人的观点来说，经济理论能告诉大家的更多的是“为什么”，在这个很general的基础上，我们可以进一步尝试的去回答在某个例子中到底“是什么”。最后无论使用线性模型进行回归分析还是其他的模型设定都好，数据挖掘技术可以在这个方面推进工作的进展、帮助我们更好的理解数据和读懂数据、在浩繁的数据海洋中提取最有力的信号，剩下的可能就是经济学进行分析的工作了（当然我是从纯经济学角度出发说这个话的）。从这个角度而言，数据挖掘和计量经济学更是一种相互裨益的感觉，前者更多是一种思想吧～矿工嘛，先挖挖试试看。

[注：我只是从自己的所学出发随便说说，其间必有偏颇之处，还望各位海涵及不吝拍砖！]

Categories
事儿关经济

自我通识教育

貌似最近“通识教育”这个词儿蛮热的，很多大学一进去都不分专业了，先来一段什么“通识教育”再说。好吧，我这个已经毕业的人了，也没什么被教育的机会了，只能自我教育一下，故而改称之“自我通识教育”。

今天在读一篇paper，呃，大概久违的非econ的paper了吧。

Zhou T, Kuscsik Z, Liu JG, Medo M, Wakeling JR, Zhang YC. Solving the apparent diversity-accuracy dilemma of recommender systems. Proc Natl Acad Sci U S A. 2010 Mar 9;107(10):4511-5. Epub 2010 Feb 22.

嗯我知道各位会依旧容忍我的引用不规范的。先这样吧。然后按图索骥，很快就找到一篇博文论及此文，巧的是这篇博文正来自COS的一位特约作者阿稳，豆瓣的算法工程师。当时顿感，嗯啊，世界一向很小的是不是。稀里糊涂的看了半天，终于明白这东西大概在鼓捣些什么。不过，我的角度肯定不是从算法本身的角度，更多的是关注一下这种idea背后的逻辑吧。嗯啊，比如我可能会关心一下“为什么”，从数学或统计的角度来说就有一点寻求“一致性”的味道。现在越来越不敢用“隔行如隔山”来宽慰自己，看看我这些年做过的事事儿，就知道天下没有什么绝对的某一领域之说。那天写完那篇关于高维数据降维的文章之后（参见：[cref %e5%b0%8f%e7%aa%a5%e2%80%9c%e9%ab%98%e7%bb%b4%e6%95%b0%e6%8d%ae%e9%99%8d%e7%bb%b4%e2%80%9d-2]），过两天正好跟一学计算机的朋友吃饭，顿时被指责我不务正业，一个学经济的来掺和啥啊。这年头，是不是，术业有专攻？

呃，我不管，自我通识教育进行中。记得年初的时候经常和一位朋友闲扯，他就论及为什么“交叉领域”的研究这么稀缺。是啊，想在一个领域做好已经不容易了，更何谈深入另一个领域？此外，这还得有一种为求真理不断奉献的精神，若是对知识没有渴求，那么怕是也没什么动力继续研究下去吧。呃，好吧，其实我是对“金融物理学”有一点点偏见的。刚搜了搜去年此时居然写了一篇关于金融物理的文章，嗯啊，莫非现在的眼界已然不如当年广阔了吗？弄得我都有点冲动去再读一个硕士了，比如statistics或者physics。当然，说说而已，付诸行动的可能性真不大。顺便说一下Mcgill有位牛人，一面是计量大家，一面又在物理学顶级期刊上灌水，看他的CV顿时让人感觉“此人只应天上有”。不卖关子了，我指的是Russell Davidson。

最近在考虑把硕士毕业论文好好的从头看一遍，把各个部分分别的仔细考量一下，看看能有什么新的进展。从这个角度而言，当时真的是很冒险，我和我的合作者就这么大胆的去应用经济学到公共健康领域。回过头来看，其中运气的成分不少，要不很可能无法按时完成呢！不过，有点怀念上几个月可以静下心来写两篇文章的感觉，很舒服，很专心，收获也很大。果然，做过一遍的东西还是理解的更加深入些。希望能有一些新的洞见吧。

嗯啊，算是给自己一个锻炼和成长的机会吧。总该暂时的离开economics一段时间，换一个角度、换一个心情来看待这门学科、抛去所有光环什么的。看看落园这些年来攒下的文章，一种小小的惬意感油然而生。明天还要做一回免费的consultant，嗯啊，既然我已经下决心不去Paris了，这封email多少是带有一些愧疚的味道的，我也想静下心来好好的想一想怎么可以帮助一个项目更好的运行。嗯啊，人总是在不断的学习中，也希望这样的学习和磨砺可以带来更快的成长吧。所谓“生于忧患，死于安乐”嘛！

[p.s.] 这是不是意味着落园的栏目设置要改一下了呢？可能“事儿关经济”下面的东西会越来越少，大概需要一个新栏目来替代了吧。