Tag: 计量经济学

Categories
事儿关经济

我（对于统计方法）的一些偏见

Yihui写篇文章居然链到了我那篇吐槽文，瞬间亚历山大...我就是随便说说而已，一定要文责自负么？

其实我经常会有些自我的偏见在那里，而且有时候明明知道这些偏见的存在不好，还是很难说服自己改变它们。

比如，最深的偏见就是我对于计量经济学，我实在无法从根本上接受计量经济学属于经济学的这个事实...我对于它从统计观点出发搞的“因果推断”始终加上一个引号。

再比如，计量经济学内，我偏见最深的就是时间序列分析，我实在无法从根本上接受时间序列分析居然可以做因果推断，这东西更多的是预测的意味嘛，和机器学习的观点很像...

再再比如，机器学习各种模型中，我最不能接受的就是那些完全没有假设检验的...这东西至少也得能算个方差什么的才让人觉得靠谱些吧？

再再再比如，没有假设简单的那些机器学习模型中，我最最最最无法认同的就是最粗暴的把各种模型结果混合起来，用类似bootstrap的方法求得置信区间之类...这简直是就毫无办法之下的粗暴猜测嘛。

然后最后一个问题，施老师说，这个某种程度上反映了“群体智慧”。呃，好吧，就算每个模型都提取了一定的信息量，然后这么混合起来就是万灵药了？怎么听怎么像中药一锅煮的感觉，而不是西药那么配方分明...

其实我还讨厌的是“数据科学家”这个说法...努力的把science的帽子往自己脑袋上套，是大家都要遵循“科学发展观”的缘故么？就像我原来特别讨厌有人争论“经济学是硬科学还是软科学”一样，一定要沾上科学的边么？是为了好申请经费么？

如果科学，定义为消除我们对于世界的不确定性，那么无论是经济学还是统计学，不用争议多少，自然都是科学。如果科学，定义为探寻事物发展的因果规律，那么怕不是建立在演绎法逻辑之上的方法，都算不上科学了。我想说的只是，定义可能并不重要，如果定义是狭隘的，那么必然排除了一些有用的方法；如果定义是广阔的，那么必然包容了一些没用的方法。这东西又不是非黑即白的...

我只能说，科学在我这里的定义相对狭隘，宁缺勿滥，所以我的偏见有这么多...偏见越多，观点越偏颇，经常有过两年自己都不知道自己当年为什么那么幼稚和狭隘的感觉。所以大家一来请见谅落园文章的局限性，二来欢迎帮我突破局限性，用鲜明的观点和生动的例子来说服我——不仅仅是一些口头上关于定义之类的争论。

------------

照例跑题：确实如yihui所说，我的blog文章太多了，找起来难免不方便。尤其是对于不是常年订阅的读者来说。所以我决定对自己的blog主题动动手术了，瀑布流什么的最近蛮流行的，挺好的打算学习一下。

Categories
读书有感

≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（四）

照例继续本周笔记。这次我没啥废话了...

--------------笔记开始---------------

投影矩阵与消灭矩阵

首先是上次没证的若干OLS性质。基本都是公式。我就照抄原来econometrics做的笔记了。权当复习了...对计量有兴趣的、线性代数还不错的，建议去看《Microeconometrics- Methods and Applications》（?A. Colin Cameron / Pravin K. Trivedi ）。

先定义两个矩阵，这两个矩阵会在某种程度上save your life while learning econometrics...投影矩阵和消灭矩阵。

复习一下，OLS估计量是 ，然后对应的Y估计量是。所以，我们定义投影矩阵P为，这样就有了。也就是说，我们对Y进行了一次投影，然后得到了一个估计值。当然定义投影矩阵并不仅仅是写起来比那堆X简单，而是投影矩阵本身有着一系列良好的性质。

我们先来看把P投在X上会怎么样。显然，，也就是说P不会改变X的值（本来就是把一个东西投到X上嘛~自己投自己怎么会有变化的嘛）。

然后呢，对P进行转置，则，所以接下来。

再定义消灭矩阵M。很简单，我们定义M为，其中I为单位阵（对角线元素为1，其他为0）。这样M又有什么性质呢？显然，也就是说M对Y的效果是得到误差项。而与此同时，M对于X的作用就是，所以称为消灭矩阵嘛。继续，进行转置，则，所以我们还有。

OLS估计值的方差

再次友情提醒，X不是随机变量，所以不要跟我纠结为什么没有条件期望公式之类的东西...

扰动项服从时，或者大样本下，OLS估计量的方差为：

这里为样本方差，所以其分布为： 。这样一来，就有了一个t检验：

。

大样本下，就直接用正态检验好了。此外，如果我们进一步的有更多的同时检验的约束条件，那就是联合检验F。这个就不赘述了...

高斯-马尔可夫定理

顺便还证了一下高斯-马尔可夫定理...这个不像OLS，每次我可记不住他的证明，每次都是现翻书...

我就直接抄wiki了。

选择另外一个线性估计量，然后C可以写为 ，则D为k*n的非空矩阵。

那么这个估计量的期望是 ：

所以，为了保证 无偏，则必有 .

继续求方差：

是一个半正定矩阵，肯定要比大~得证。

变量选择与收缩方法

为了降低测试误差（减少函数的复杂度），有时候会放弃无偏性而进行变量选择。这里首先就是Ridge OLS（岭回归）。还是算一下这个东西好了。

岭回归就是对估计量另外加一个约束条件，所以很自然的想到拉格朗日乘子法。ridge regression的目标函数为，

可以重写为

记

这样我们就得到两个一阶条件：

和，所以有：

这里还可以看出，的取值都是对应的。

Lasso则是把改成，已经没有解析解了...

至于为什么叫收缩方法，可以将X进行奇异值分解，然后可以得出的方差将变小...我就不写证明了，感觉这一块儿讲的也不是很透彻。

Categories
读书有感

≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（三）

照例文章第一段跑题，先附上个段子（转载的哦~）：

I hate CS people. They don't know linear algebra but want to teach projective geometry. They don't know any probability but want to use graphical models. They don't understand stats at all but still do machine learning like crazy.

喵，最近被问了好几次machine learning 和statistical learning的区别在哪里，我觉得大致如上吧。这也是为什么，对后面这个词我的好感稍稍好于前面那个的原因...科学总是有意义的嘛，不能总是依靠强力乱猜是不是嘛。

免责声明：以下个人见解部分局限于我个人的见识和思考范围，不适用于所有场景。请大家弃糟粕取精华，不可一言全信之。

-------------笔记+随想开始------------

高维空间问题

这一段主要是说大名鼎鼎的＂维数灾难＂。我们都知道有两个数字决定着OLS中X矩阵的大小，这就是 观测数目N 和观测变量的个数p 。一般说来，我们都喜欢N比较大，这样可以很容易的应用大数定律什么的。然而对于p，却是既爱又恨—我们当然喜欢可以观察到个体的很多个特征，但是所谓＂乱花渐欲迷人眼＂，特征越多噪音也越多，搞不好预测的时候就会有麻烦（关于变量的选择问题，应该是下一节课的内容。心急的可以先看看我以前的一篇自学笔记）。

为什么维数增多的时候会麻烦呢？这里主要是随着维数增多带来的高维空间数据稀疏化问题。简单地说：

  • p=1，则单位球(简化为正值的情况）变为一条[0,1]之间的直线。如果我们有N个点，则在均匀分布的情况下，两点之间的距离为1/N。其实平均分布和完全随机分布的两两点之间平均距离这个概念大致是等价的，大家可稍微想象一下这个过程。
  • p=2，单位球则是边长为1的正方形，如果还是只有N个点 ，则两点之间的平均距离为。换言之，如果我们还想维持两点之间平均距离为1/N，那么则需个点。
  • 以此类题，在p维空间，N个点两两之间的平均距离为，或者需要个点来维持1/N的平均距离。

由此可见，高维空间使得数据变得更加稀疏。这里有一个重要的定理：N个点在p为单位球内随机分布，则随着p的增大，这些点会越来越远离单位球的中心，转而往外缘分散。这个定理源于各点距单位球中心距离的中间值计算公式：

当时，。（很显然，当N变大时，这个距离趋近于0。直观的理解就是，想象我们有一堆气体分子，p变大使得空间变大，所以这些分子开始远离彼此；而N变大意味着有更多气体分子进来，所以两两之间难免更挤一些。看过《三体》的，大概会觉得这个很熟悉的感觉吧...四维空间下的＂水滴＂再也不完美的无懈可击，而一张一维的纸片就毁灭了整个地球呢。）

这个距离公式的推导就暂时不写了，好麻烦...大致是利用了各个点独立同分布的特性（完全随机情况下），把median距离变为以1/2概率大于中位数的概率集合公式，再进一步展开为单点距离累乘公式。

比如当p=10, N=500的时候，约为0.52，也就意味着有一半多的点离中心的距离大于1/2。

高维问题为什么是问题呢？回顾一下K近邻算法，我们用x的邻居来代替x，这样就希望他的邻居们不要离他太远。显然高维空间使得点和点之间越来越远。所以说，knn更适合小p大N即低维多观测量的情况，而在高维空间下可能会变得很麻烦。

这样，statistical learning的主要两个问题就总结完了：

  • 过拟合：为了控制预测误差，我们要选择适合的函数类。
  • 高维空间：随着维数的增多，我们面临着维数灾难。这对很多算法都有波及，主要体现在高维数据稀疏化。

回归的线性方法

这里主要是一些linear regression的东西，作为被计量经济学折磨了这么多年的孩子，我表示很淡定...此外还加上我们俗称的generalized linear models，即GLM。一些线性变换而已，无伤大雅。

这里一定要强调的是，在这里我们亲爱的X居然不是随机变量！多大的一个坑啊，我就华丽丽的掉下去了还问老师为什么无偏性不需要假设均值独立什么的... X不是随机变量意味着什么呢？X是人为设定或者决定的，比如我一天浇200 ml 或者500 ml水，然后看对于植物生长的影响。当时我真的是想＂一口老血喷出来＂，这也太舒服了吧！要知道大多数情况下X也是随机变量哇，比如身高体重什么的。如果它不是随机变量而只有扰动项是独立的随机变量的话，整个计量经济学怕是要删掉好多篇幅了呢。我想说的只有，这群搞statistical learning的好幸福...

X不是随机变量的时候，为了满足无偏性的假设，只需要扰动项不相关且期望方差存在就可以了。期望不为0不要紧，回归的时候放进去常数项就可以了。

此外，对于任意一个正定阵W，我们都可以直接在回归方程两边乘以W，从而。也就是说，我们可以给X进行加权处理，加权矩阵W之后可以进行新的OLS估计，且可能会有对应的优良性质。加权最小二乘法我就不在这里复习了，学过计量的应该很熟悉，比如处理异方差什么的。

再就是我们可以给加上一些约束条件，这样的话最小化问题后面就可以简单的使用拉格朗日乘子法来解。

这次的收获之一就是OLS估计量的计算。在实践中，我们计算OLS估计值并不是直接使用，而是会事先进行QR分解（利用特征值来算）。即，我们把X分解为化为正交（酉）矩阵Q与实（复）上三角矩阵R的乘积。这样一来，

这样可解，计算时候的稳定性比直接求逆矩阵来的好很多，因为计算机必竟有数字长度的限制，各种位数带来的精度损耗最后会累积到估计量上。

最后就是高斯-马尔科夫定理，就是我们常说的BLUE估计量。我就直接拷贝这个定理了：

在误差零均值，同方差，且互不相关的线性回归模型中，回归系数的最佳无偏线性估计（BLUE）就是最小方差估计。一般而言，任何回归系数的线性组合的最佳无偏线性估计就是它的最小方差估计。在这个线性回归模型中，误差既不需要假定正态分布，也不需要假定独立（但是需要不相关这个更弱的条件），还不需要假定同分布

进一步的，如果假设扰动项服从正态分布，比如白噪声，那么的估计值也服从正态分布，y的预测值也服从正态分布，因此可以直接做一系列基于正态分布的假设检验。特别的，在大样本情况下，就算扰动项不是正态分布，我们也还是可以利用大数定律和中心极限定理...事实上一般也是这么做的。

本节课到此结束。老师没有一一推导无偏性最小方差这些性质，我倒是觉得对回归方法感兴趣的还是直接去看计量经济学吧。这东西水还是蛮深的。

Categories
读书有感

降维模型若干感悟

前几天集中爆发了一些email，直到最后和Frank兄提起，他说我应该去看一下 Adaptive Lasso，我才终于痛下决心开始看这方面的东西。先说说为啥开始看Lasso。

需求。大数据时代，任务有很多：

  • 理论层面，要有适应大数据的模型。一方面是数据量的增加（表现为个体记录的增长），一方面是数据维度的增加（简单的说就是回归方程右边的变量），让大数据这个任务变得格外艰巨（p.s. 这个不是我总结的，照抄上次ShanghaiR沙龙时候Ming的原话...话说我别的没记住，就这句话深深的印在脑海了，哎~）。
    • 数据量的增加，对应的是大样本理论。这个好玩的有很多，暂且不表。
    • 数据维数的增加，则需要相应的降维模型。你总不能在回归方程右边放入几千个变量，“维数灾难”啊...所以变量选择是个很好玩的话题。
  • 应用层面，一个模型性质再漂亮，你也要能算得出来才行是不是？
    • 首先就是要有个好的算法，比如在「统计学习那些事」中提及的LAR对于Lasso的巨大贡献。
    • 其次，什么分布式计算啊，并行计算啊，都成为热呼呼的实践问题（当然我还是go against那些不管三七二十一、直接软件中调用模型的。任何一个模型的假设和局限性都是应该首先考虑的，要不真不知道预测到哪里去了呢~）。

好吧，好久没用这么多层级了。只是昨天稍稍理了理思路，顺便写在这里，算作「感悟一」。

然后，说到底统计学还是为其他学科服务的（好吧，我是想说数据不是无源之水，总归有自己的背景，总归有在这个背景领域的人希望借助数据来解决的问题）。那么作为一种empirical method，统计模型关心的是什么呢？在被计量经济学熏陶外加祸害了若干年后，发现它本质还是为了经济学研究的一些目的服务的，所以关注的更多是consistency，大家张口闭口就是“变量外生性”...而这多少有些直觉+经验判断的东西。显然，统计模型不仅仅是计量经济学，昨天看「The Elements of Statistical Learning: Data Mining, Inference, and Prediction」，大致的关于统计模型关心的判断标准的「感悟二」总结在这里：

  • consistency：这个还是逃不掉的，一致性在大样本下虽然比小样本的无偏要求来的弱得多(plim毕竟比期望算子好“操作”一些)。其实有一段时间我一直很抵触把计量经济学里面的causality叫做因果关系，学习计量模型的过程基本就是保证估计一致性的推导过程...想说的只是，真正的因果关系不是统计学就可以定义的，还是要回到学科本身。consistency更多包含着“internal validity”的味道，即一个结果可以期望在样本本身内重复实现。个人感觉，从经济学理论与实证研究的角度，这大概是计量经济学能达到的最多的程度了吧。再苛刻的因果真的就是经济理论本身的问题了。
  • accuracy: 统计还有一大任务，做预测。我们都知道OLS有的时候可以很简单的给出一个consistent的估计量，但是仅仅是均值意义上的估计还是不够的，对你还得给出个方差。这个方差就刻画了你的估计值是不是飘来飘去。我们当然希望一个方差比较小的估计量，所以大多数时候OLS是不能满足这样的要求的（顺便复习一下BLUE的那些条件）。
  • implementable: 有的时候我们可以用现有的数据、花费大量的时间，来拟合一个漂亮的模型。但是，模型不是放在那里就可以的，在实际应用中大家更关心的是，模型建立之后对于日后决策的指导作用。可能1000个自变量拟合出来的模型比20个好10%到20%，但是在实际应用中，20个变量显然更实用...同理，有些非线性模型漂亮的一塌糊涂，但是计算复杂度可能远远不是多项式级别的。这个时候，退而求其次也不失为一记良策。说到底，有的时候并不要求最完美的模型，总要在性能和效率之间取得一个平衡。
  • 当然说到prediction，这里更多的就有statistical learning的味道了。回归多少还算是supervised learning，至少脑海里大致有个印象什么是回归方程那一边的y。更多的时候，连y是什么都没有概念，所以就有了基于similarity的模型，比如clustering，比如协同过滤...不过有句话确实说的好(摘抄自「统计学习那些事」)：

立新老师曾经有这么一句话：“If a method works well in practice, there must be some theoretical reasons for its success.” 如果一个模型在实践中表现的很好，那么一定有它好的原因。

所以基于上述三点（当然还有可能有更多的考虑），不同的模型对于不同的标准有着不同的达标水平。大家各有所长，用哪个还真得看实际任务的需求了。

「感悟三」，则是statistical learning (统计学习，有点机器学习的味道)的任务，这个是从「The Elements of Statistical Learning: Data Mining, Inference, and Prediction」上照抄的：

  • 预测准确性要高：和上面的accuracy对应。
  • 发现有价值的预测变量：更有可能从归纳法回溯到演绎法，给出更多的insights。

最后的，稍稍偏数学一点。「The Elements of Statistical Learning: Data Mining, Inference, and Prediction」里面第三章讲了很多Shrinkage Methods，关心的是varible selection(生物统计中feature selection)的问题。从大家最耳熟能详的stepwise（逐步回归），到ridge regression(岭回归)，再到Lasso(或者把LAR也算进来)。基本说来，ridge和Lasso是在OLS基础上一个很有意思的变化。

  • OLS求解的最优化问题是：
  • ridge regression则是加了一个L2惩罚项，即 ，其中t是一个给定常数参数。
  • Lasso则是把这个L2变成了L1，即

就这么一个简简单单的变化，就有了后面那么多神奇的性质。「感悟四」就是，原来Lasso思想并不是那么复杂啊。

Categories
互联网产业观察 经济、IT观察与思考

那些埋伏在互联网公司的经济学家....

嗯啊，自从著名的微观经济学家Varian跑到google兼职之后（话说Varian这厮最著名的八卦，就是自己在买新彩电之前，各种搜集数据建立模型，然后经过各种最优化选择了最佳时点入手...不就是买个电视嘛，至于这么学以致用嘛~），经济学帝国主义展露出其雄心勃勃的志向——无底线的渗透到各个行业各个环节。有的披着数量分析的外衣，有的带着策略决策的高帽，总之就是各种高端各种名正言顺。然后看看他们发出的paper嘛，什么呀，还是economists这群人自己的逻辑规则。哎呀呀~

最近看AEA系列的文章，发现了两位埋伏在互联网公司的大神，Justin M.Rao和David H. Reiley，貌似原来都在Yahoo!后来一个跑到了google一个投奔了Microsoft。然后这俩人还到处在econ期刊上面灌水，嗯嗯，小小谴责一下~你们又不评tenure神马的，干嘛总抢有限的publication资源啊(好吧其实这俩明明是过着我羡慕而暂时不可得的生活...)。

本来先看到的是这俩人发在JEP上的，关于垃圾邮件的：

Rao, Justin M., and David H. Reiley. 2012. "The Economics of Spam." Journal of Economic Perspectives, 26(3): 87–110.

然后顺藤摸下去，找到了俩人的网站（作为具有geek气质的经济学家，这俩人果然都有独立网站~），然后就看到了更多的papers:

The Good News-Bad News Effect: Asymmetric Processing of Objective Information about Yourself (local copy) (joint with David Eil AEJ Microeconomics July 2011

Here, There and Everywhere: Correlated Online Behaviors Can Lead to Overestimates of the Effects of Advertising (local copy)  (joint with Randall Lewis and David Reiley). Proceedings of World Wide Web Conference 2011 Research Papers

嗯嗯，这两篇看起来也很有意思（对他们研究NBA的那些文章表示~米有兴趣）。这三篇中，最符合我现在的迫切需求的就是最后一篇——在线行为中的相关性与互联网广告效果评估。米办法，现在整天对着各种评估，各种错综复杂让人经常抓狂。还是看看文章舒服一点。

现在开始说一下最后这篇文章。记得刚刚到eBay的时候，就有被问到，“怎么从correlation到casuality？”。当然，呃，计量注重的因果推断只是狭隘的统计意义上的因果，不过还是比correlation有着实质进步的。因果推断的方法，嗯，很多，只要解决了内生性问题，什么都好说。那么，好吧，最simple and elegant的就是随机分组实验了，因为是随机，所以分组变量一定是外生的，所以估计了一定是一致的。然后就是根植IV理念的一系列方法，然后就是对付无法观测变量的panel data方法...时序我实在是不了解，所以这里就不知道了（最悲哀的是为什么总被问到时序的问题啊，个体的数据是多么好的面板分析base啊，为什么一定要损失信息弄成一些时序指标呢？）。

回到文章。一开始作者就提到了互联网广告效果评估的一个经典“相关行为偏差”案例：

案例1： 用户行为的相关性与估计偏差

Yahoo!在首页上为某大厂商展示了其品牌广告，之后评估由其带来的相关的关于该品牌的搜索行为。没有对照组的时候，他们使用用户在campaign开始前一个星期的各种浏览行为作为控制变量，然后发现campaign带来的提升效果约在871%到1198%之间，可谓 too good to believe。

然后大家就有疑虑了，作为一个经常访问Yahoo!的用户，自然相比于那些不怎么常来的人有更高的概率看到该广告（在线广告一般定义exposure，即被展现即作为treatment），而且他们作为资深用户更有可能去搜索一些关键词。这样，就出现了这两个变量的高度正相关——搜索却不是在线广告直接引起的，而是用户本身特性决定的。然后大家就会说了，那么干脆把campaign开始前用户的搜索行为也作为一个控制变量好了。但是这个东西实在是不稳定，每天之间波动实在是太大。

简单总结一下，就是被展现过广告的用户for sure会比那些没有展现的用户更活跃，所以本身就是一个selected sample，也没有很好的控制变量可以完全的消除这里的选择性样本问题。而在采用了随机对照试验之后，最终的估计量是5.4%，也就是说实际上直接由广告带来的相关搜索只有5.4%的提升量。

然后就有人说，哦，都是同一站点的行为嘛，自然可能相关性比较强。那么不同站点之间的行为，是不是行为之间的相关性就会比较弱一些呢？然后就不会这样干扰结果了？于是，作者进行了第二个实验。

案例2：网站之间交叉行为相关性

Yahoo!在Amazon上放了一段30秒的视频广告，以推销Yahoo的一项服务。然后他们发现，在接下来的一周之内，这些看到该广告用户的中，使用Yahoo!这项服务的用户大概提升到以前的3倍！可见这个广告是非常之有效啊！

然而有意思的是，在同样的时间段之内，另一组用户看到的是是一段政治广告。作为control group，这些用户对于该服务的使用量也差不多增加了2倍——也就是说，可能是其他的一些campaign或者用户的自然增长导致了活跃用户的增加，而不是直接的源于这段视频广告。对比之后，该广告的效果只能用“微乎其微”来形容了。

所以，不同网站之间的行为可能是高度交叉相关的，不能简单的忽略这种行为相关的可能性去采用一些简单的观测评估。否则，往往估计效果会大大的偏离实际。

案例3：广告会造福竞争对手？

一个在线服务商在Yahoo!上展示了2亿次广告，但是很可惜，Yahoo!无法追踪到该广告为服务商直接带来的用户转化量。不过“幸运”的是，在这段时间，他们追踪到了该服务商的一个竞争对手的新用户注册量。于是，“不幸”的结果发生了——看到广告的当天，用户更可能去注册竞争对手的网站用户。莫非，这段广告不仅仅让投放者收益，而且也造福了竞争对手？（比如促进了消费者对于一项新服务的认知度，我们习惯称之为正面的“溢出效应”）

还好，当时Yahoo!也设置了对照组，发现其实对照组的用户在这段时间之内也有很多人去竞争对手网站注册。所以其实这种溢出效应基本为零，不用担心啦~竞争对手用户数上升可能是与此同时其他促销或者广告行为的影响，与这段广告没什么关系的。

嗯，其实这篇paper本身米有什么technical的难度，稍稍学过一点本科计量经济学的应该都能顺利的看懂，不过几个案例还是蛮有说服力的。唯一稍稍遗憾的是，这篇文章的style还是太economist taste了，不是那么的符合业界人士的思维路径...

我想在此基础之上，稍稍多说几句关于“实验设计”的事儿。随机实验很简单的，解决了很多内生性相关性问题，是一个典型的“better data + simple method = better results"的例子。同样的，很多时候如果可能，提高数据的质量而不是寻求更复杂的模型，往往是解决问题最省力的办法。这里的数据质量不仅仅是说“除噪”这些基本功，而也包括数据是不是贴近分析目的设计和搜集的。去年写了一系列的“社会网络中的实验”，一直在说一个优雅的实验设计会带来多么优雅的分析。当然很多的时候，一些客观的现实问题导致实验也只能被优化到一个特定的层次。其实一直在想的是，连续的实验该怎么设计？

有的时候，因果关系不需要一次次的挖掘，实验也不需要每次都做，毕竟实验都是有成本的。如果能设计出来一系列优雅的实验，那么很多问题就可以一次性的干净利索的回答，不好么？不过既然在这里说到这些，说明日常的工作中还是存在很大改进余地的。嗯，有空间才有成长，挺好的~

p.s. 其他两篇papers也会稍后介绍~嗯嗯。