Categories
读书有感

有趣的模拟

我现在的笑点好像越来越低了...

 

Statistical models
AB_Test Post_Stratification Post_Strat_rescale HTE HTE_rescale
(Intercept) 20.85 (0.37)*** -0.61 (0.04)*** 20.85 (0.03)*** 0.40 (0.03)*** 20.85 (0.03)***
TCT 4.02 (0.52)*** 4.02 (0.05)*** 4.02 (0.05)*** 2.01 (0.05)*** 4.02 (0.04)***
pre_x 1.05 (0.00)*** 1.00 (0.00)***
pre_x_rescale 1.05 (0.00)*** 1.00 (0.00)***
TCT:pre_x 0.10 (0.00)***
TCT:pre_x_rescale 0.10 (0.00)***
R2 0.00 0.99 0.99 0.99 0.99
Adj. R2 0.00 0.99 0.99 0.99 0.99
Num. obs. 20000 20000 20000 20000 20000
p < 0.001, p < 0.01, p < 0.05

 

Categories
读书有感

实验设计的原则与我的体会

今儿继续读前几天说到的那本书:

Montgomery, Douglas (2013). Design and analysis of experiments (8th ed.). Hoboken, NJ: John Wiley & Sons, Inc. ISBN 9781118146927.

嗯,我读的很慢,唉,求轻拍啊。

刚读完第一章...(默默的跪墙角了,第一章才23页,居然读了这么久!)。看到一些比较有意思的点,抄一下顺便罗嗦一下。

1. 实验设计的原则

基本上就三点吧:随机化、重复、分块(blocking)。

  • 随机化没什么好讲的了,就是保证treatment的分配和其他各种可观测不可观测的variable之间相互独立、相互不受干扰。从我的理解,这大概是源于一条定理(下为简述):
    如果回归方程是,且,那么下面两式估计出来的(均值)一致、估计方差后者小。
    1)
    2)
    所以如果我们保证了treatment和其他各种因素相互独立,就可以直接通过随机试验来读出treatment effect了。
  • 重复。重复这里一方面可以广义的理解为“可重复研究”,另一方面其实很简单的就是样本量要足够(比如不停的抛硬币来判断硬币是不是均衡)。也就是说,只针对少数个体的实验可能受到各种随机外在因素的影响太大,而加大样本量(实验个体)有助于减少这样的误差、同时提高估计的精度。所以,重复更多的是,在相同(或者类似)的个体(情景)上重复同样的treatment/control。
  • 分块。这个主要是排除一些样本间差异的影响。作者给的例子比较直接,有两批原料样本,然后做某种实验。两批原料可能由于批次、厂商不同,相互之间有些差别,但这种差别我们是不关心的。所以评估的时候,就把他们分开、每块单独评估。(或者理解为,回归方程里面加一个批次的dummy variable,然后算方差估计值的时候做一下cluster。

除上述三点之外,还有一个要注意的就是factorize,译作因子化?简单的来讲就是一分为二、是或者否。然后多个因子组合一下...

2. 实验设计的一些要点

这个就是高屋建瓴的说说咯。

  • 利用自己在该领域的知识。否则就是盲测?感觉这个有点像经济学里面强调structual model的那种感觉...
  • 实验设计和分析越简单越好。不是什么高深的技巧都应该一股脑的放在实验设计上的...越高深适应性可能就越差。
  • 认识到实际价值和统计显著性。这个就是说,统计上显著的,实际中不一定有意思。比如花了很大力气,证明了某个treatment effect是显著的,但是提升只有0.01%,却增加10%的成本,那就得不偿失了。
  • 实验往往是递进的。几乎没有一次性的实验是完美的,我们往往是在渐进的实验过程中不断学习。一般第一次实验都是简单而广泛的,更多是一种尝试和探索大致方向。作者建议不要把多余25%的资源投入到第一次实验。

嗯...其实挺好玩的还是,虽然有很多繁琐的地方,但大致的原则和方向还是蛮清晰的。实验设计其实最大的区别就是,不是想尽办法用模型去套现有的数据(黑一下ML),而是想办法更好的搜集数据、从而进一步时间简洁有力的分析(simple, elegant and powerful)。

Categories
读书有感

几个有趣的问题

今儿跑代码的百无聊赖的时间,看了一下昨天收藏的周志华老师的一个演讲:Boosting 25周年。链接在这里:

http://vdisk.weibo.com/s/FcILTUAi9m111

对Adaboost之类的我已经忘得差不多了,还好有当年ESL的笔记可以翻翻。看周老师这张slide,基本上是总结了一下集成学习(ensemble learning)的大概思路。

2014-10-20 15_45_23-CCL2014_keynote-周志华.pdf按照这个思路,Boosting类和bagging以及random forests这种都算作ensemble learning了。然后在简单的回顾了adaboost的前世今生之后,抛出来一个有趣的问题:

理论上我们证明了,Adaboost在多轮学习之后会过拟合,可是为什么实践中很少看到过拟合的现象呢?

嗯...然后就是边界理论和统计观点的两种解释...我就不赘述了,大家去看周老师的slides就好。我好奇的其实是,overfitting本身是怎么可以用一个理论的方法来证明的呢...感觉不那么直观呢...好好奇啊,想找点相关的paper来看看,可又怕是另外一个大坑,上周那个实验设计的大坑还没填平或者弃坑呢。

Categories
读书有感

实验设计的大坑

我总觉得自己学过实验设计——而今却越来越不敢说这句话。这两天一直在感慨:

1. 最近发现一种可怕的感觉:越是学习越是深入了解一个领域,越觉得自己不知道的很多,而且是越来越多。于是越来越不敢对这个领域发表见解,给出的答案也往往越来越保守...

2. 忧伤的表示,那种问个问题直接扔几篇paper作为回答的童鞋,可不可以考虑一下小白的感受,至少先扔个综述来让我了解一下这个领域的概况好么...直接扔篇working paper来说你自己领悟其中奥秘吧,这是闹哪样....

嗯,这就是我现在对实验设计(experiment design)的感受...水很深。

感慨完了上面第2条,就去乖乖的google相关的知识了。首先从wiki下手:http://en.wikipedia.org/wiki/Design_of_experiments,事实证明我的选择是比较正确的...历史痕迹一览无遗:

  • Controlled experimentation on scurvy
  • Statistical experiments, following Charles S. Peirce
  • Randomized experiments
  • Optimal designs for regression models: Response surface methodology
  • Sequences of experiments

瞬间有种拨开云雾见月明的感觉,感觉终于有个清晰的脉络了,残留在脑海各处的零碎的问题终于有个线索可以慢慢追寻了。简单的理解一下这几个东西。

  • Controlled experimentation on scurvy:最开始的控制/对照实验的想法,很简单,就是把12个坏血病人分为六组,然后分别给了六种治疗办法。结果在一周之内,吃柑橘的那组就很快恢复了...所以这就是为什么维生素C叫做坑坏血酸的原因么?啊啊啊....我又跑题了。
  • Statistical experiments, following Charles S. Peirce: 到这个时候开始提出频率和概率的概念,开始强调随机化(randomization)。
  • Randomized experiments:这个时候开始出现随机、双盲、重复试验的概念。
  • Optimal designs for regression models: Response surface methodology. 这里就是从full factorial到response surface,即从多个可能的factor组合中中寻找最优response。第一步是普通的多因子实验,然后找出显著的因子。在此基础之上,进一步实施更为复杂的比如Central composite design,就是选取这些因子的中心点,run实验;然后保持所有其他因子不变,在一个因子中心点前后选两个点,来做二阶多项式拟合。重复此过程直到所有因子都被测试。
    Response_surface_metodology
  • Sequences of experiments:这里就更加灵活,可以通过多期的实验方法来渐进优化。常见的如Multi-armed bandit problem, Gittins index and Optimal design。基本的idea是,按照上一期实验的结果来判断下一期实验的方向。近期的研究可以参考这篇:
    Scott, Steven L. "A modern Bayesian look at the multi‐armed bandit." Applied Stochastic Models in Business and Industry 26.6 (2010): 639-658.

最后关于实验设计...貌似有本handbook式的教科书:

Montgomery, Douglas (2013). Design and analysis of experiments (8th ed.). Hoboken, NJ: John Wiley & Sons, Inc. ISBN 9781118146927.

。。。。。。。。。。。。。。。。

瞬间觉得自己真是跳进了一个大坑。

Categories
读书有感

擦肩而过的全球化,我印象中的「重庆大厦」

每每写这类文章,总是倾向于带点煽情的、随意流淌的感觉。五月份去香港,在书店里无意的一瞥看到了《世界中心的贫民窟:香港重庆大厦》这本书,如获至宝,欣然收入囊中。迄今约有一月光阴,该写点东西刻画一下记忆的片段了。

关键词1:背包客的天堂

几年前,很随性的说走就走,然后就跑到了香港。事先没有什么计划,到了香港打给了几个好朋友,然后一个人先来接我。首先便是找个住处。我们行走在熙熙攘攘的弥敦道上,我的注意力还停留在两侧琳琅满目的店铺,朋友便指引我进入了重庆大厦。我们排队等待电梯,我年少无知的没有去试图理解周围人奇怪的目光。最后花了很低廉的价格在重庆大厦的某一层寻得了一间小屋。然后扔下行李,我们就开心的跑到附近的海港城逛街去了。那不是我第一次去香港,却是第一次在香港寻找旅馆。完全无知,只感觉重庆大厦和旁边的美丽华什么大厦之类的没什么区别,反正香港那种几十年的老楼都写着xx大厦的。那时候也对香港的宾馆没有概念,只是不会去住青年旅舍罢了。

朋友说,重庆大厦的咖喱很有名。嗯,我脑子里那时满是港式点心,完全对咖喱无反应。当时在楼下的卓越还是莎莎买了很多东西,记不清了。反正感觉香港好便宜。然后就跑去和朋友们聊天喝咖啡品甜点了。

在下一次去香港住的便是旁边的喜来登,那个时候也没感觉为什么喜来登就可以比重庆大厦贵那么多。房间也是小小的。光线也没有特别好。嗯,那时我对香港的感知只有尖沙咀这一块儿,完全不知道港岛那边和这边有什么不同,除了海洋公园和跑马地在那边。嗯,那个时候完全不知道重庆大厦的传奇。

直到后来,看了《重庆森林》,才恍然感悟到这座大楼在香港文化中的印记。王家卫的奇幻迷离的叙事方式给我的心灵带来了无数的冲击,原来我曾经呆过的地方可以是那么的传奇。看这本书里面说到,很多香港本地人穷其一生也没进过几次重庆大厦,大厦里面的旅馆也不招待本地客,据说是为了防止黑帮渗入,总之很神奇的感觉。

唯一庆幸的是那一次没有遇到火灾,否则以书中描述的大厦消防设施来看,怕是小命难保。

关键词2:最好的咖喱

上面说到很多本地人一辈子也没进过几次,那少有的几次怕就是为了舌尖上的贪念,来吃吃咖喱的。曾经有印度朋友说过,伦敦的英国菜烂得一塌糊涂,却有好吃地道又卫生的印度咖哩,这大概是一种殖民的印记。可惜我一直没有机会去伦敦,也就一直没有机会品尝那里的正宗印度咖哩。

在香港,在重庆大厦,其实行色匆匆的人群中印度人并不少,只是我也没有特别的兴致一个人去重庆大厦底层的那些餐馆点一桌印度咖哩。想想其实有些颇为遗憾。以前是没有那么的贪婪,后面则是多多少少不敢进去了。其实明知道重庆大厦对于非港人来说都是蛮安全的,只是那种怪异的氛围、那种被周围人目光灼烧的感觉颇为难耐。

我不知道那些小贩们会不会试图推销我廉价的电子产品,我都是匆匆行过目光都不敢乱扫;后面看这本书上说除了经商的还有很多职业妓女,我也在想当时哪些是妓女哪些是收租婆哪些是老板娘哪些是清洁工。貌似很多第三世界的肤色,很多清洁工貌似是菲律宾或者印尼人,其实我也不太分得清;有些商贩确实黑黑的壮壮的,现在想想应该是书中说到的非洲商人;还有很多操着粤语却可能是大陆过去的小老板们。林林总总,大厦里面的气味依稀记得并不刺鼻,可是在那其间穿梭的诡异感受无形中加剧了一些气味上的感官上的刺激。

这种当时无知事后顿悟的体验,人生大概也没几次。前一次大概还是在巴黎的先贤祠,默默地看过一群坟墓毫无感觉,出门的时候无意的找到一册中文手册才恍然大悟的跑回去又膜拜了一遍。逛过了重庆大厦,才看到这本纪实,不禁再次恍然。

关键词3:全球化缩影

很多时候媒体上充斥着诸如“港人排外”的言论,可是一般此类体验都与一个独行的女孩子无关。唯独两处:高级酒店和的士。在香港住酒店,我一般是跟前台说英文的,感觉他们的英文多数还是比普通话流利的。打车,英文搞不定,普通话就要承受司机爱理不理的态度。后面学乖了,酒店里面拿一张名片卡,直接给司机看名片。其他时间大都是借助公共交通,反正游客可能去的地方也不多。

可是港人排外,这个外是单指大陆人,还是所有国籍?从入境政策上看,未免有点过于针对大陆了。香港给大多数国家的免签都是发达国家的,应该是英国“暂借”时期的残留。在日不落帝国的光辉下,香港应该是属于某些联盟之类的,可以直接相互免签的。后面不属于英联邦了但这些政策也没有一时改掉。免税港的发展更促进了贸易往来,高端的全球化可能更体现在繁荣昌盛的金融业,而低端的全球化便缩影于香港一个个重庆大厦般的“独立自治体”中。香港警察是少有干涉重庆大厦里面的。这不得不说在尖沙咀这种繁华核心区是访客们一时难以想到的。

香港在很多大陆人看来是自由的代言词。可以买到禁书,可以不用翻墙,可以不用交税,可以不用担心食品安全,等等在大陆有点越来越稀缺的自由。重庆大厦则又是香港繁华中心的自由港。你不知道刚刚和你擦肩而过的那个送货小哥是不是打黑工,也不知道老板贩卖的是不是合法商品。大厦入口的那几个货币兑换处据说有着全港首屈一指的汇率和货币种类选择,以及从高效到廉价任君选择的跨境汇款方式。多种货币对应的是多元的人的故乡。高端的全球化衍生了热钱赖以生存的免税群岛们,而低端的全球化却也离不开这些游走在光明和黑暗边缘的地上地下钱庄。

至今难以想象,那些非洲远道而来的拓荒者们是怎么在两周不到的时间,扫荡着廉价的商品,然后塞满几个外表破烂的旅行箱,还要练就一番油嘴滑舌的本事来应付本国腐朽而贪婪的海关。这其中的风险自担,而早期拓荒者的回报也相当可观:买房、娶老婆、当老板。念及此想想我们天天趴在网上海淘美国的便宜货,然后各种找人带回来,真的是弱爆了。完全没有冒险家精神。

这些是一类人群的故事,却也是重庆大厦的故事。早起的拓荒者并不依赖网络互通有无,他们就是站在重庆大厦街边的7-11便利店,在夜色下面日复一日的重复或者更新着那些对话。有些人还在,有些人走了,有些人新来。这个群体有着极强的流动性,涌动的荷尔蒙带动了性服务以及毒品的需求。然而却没有丝毫的违和感。好像这些都是重庆大厦本来就有的生活印记。生意无所谓肤色,无所谓种族。都在异乡,都没有主人家可以作客。

碎语

经济,贸易,娱乐,人性。有底线有上限,每个行业都有自己不为人知的规则和秘密。这本书的作者是一位人类学者,他的文字灵动而充满人性。而冰冷的是法律,是一群人们用来制约人性的规则。重庆大厦不远便是星光大道,往西是天星小轮的码头,怀旧的游客或者繁忙的本地人往来不绝;往东是红磡隧道和体育场,见证着穿梭港岛的车流和一场又一场音乐盛会。往北是商业街和九龙公园,繁华或安静。如果不是历史无意间造就了这么一个独特的存在,谁也不会把重庆大厦规划于这么繁华的市中心。我们理解的无论是贫民窟还是避风港,都仿佛是城乡结合部的事情。然而他存在着,便有他的意义,无论是顽强还是无赖。

说到底我还是个无意闯入的游客。没有过多的交谈,躲避着纷杂的眼神。好像坐着越野车在非洲草原行驶一般,里面和外面永远隔着一层玻璃,一层彼此难以理解的屏障。