我总觉得自己学过实验设计——而今却越来越不敢说这句话。这两天一直在感慨：
1. 最近发现一种可怕的感觉：越是学习越是深入了解一个领域，越觉得自己不知道的很多，而且是越来越多。于是越来越不敢对这个领域发表见解，给出的答案也往往越来越保守...
2. 忧伤的表示，那种问个问题直接扔几篇paper作为回答的童鞋，可不可以考虑一下小白的感受，至少先扔个综述来让我了解一下这个领域的概况好么...直接扔篇working paper来说你自己领悟其中奥秘吧，这是闹哪样....
嗯，这就是我现在对实验设计（experiment design）的感受...水很深。
感慨完了上面第2条，就去乖乖的google相关的知识了。首先从wiki下手：http://en.wikipedia.org/wiki/Design_of_experiments，事实证明我的选择是比较正确的...历史痕迹一览无遗：
- Controlled experimentation on scurvy
- Statistical experiments, following Charles S. Peirce
- Randomized experiments
- Optimal designs for regression models: Response surface methodology
- Sequences of experiments
瞬间有种拨开云雾见月明的感觉，感觉终于有个清晰的脉络了，残留在脑海各处的零碎的问题终于有个线索可以慢慢追寻了。简单的理解一下这几个东西。
- Controlled experimentation on scurvy：最开始的控制/对照实验的想法，很简单，就是把12个坏血病人分为六组，然后分别给了六种治疗办法。结果在一周之内，吃柑橘的那组就很快恢复了...所以这就是为什么维生素C叫做坑坏血酸的原因么？啊啊啊....我又跑题了。
- Statistical experiments, following Charles S. Peirce: 到这个时候开始提出频率和概率的概念，开始强调随机化(randomization)。
- Randomized experiments：这个时候开始出现随机、双盲、重复试验的概念。
- Optimal designs for regression models: Response surface methodology. 这里就是从full factorial到response surface，即从多个可能的factor组合中中寻找最优response。第一步是普通的多因子实验，然后找出显著的因子。在此基础之上，进一步实施更为复杂的比如Central composite design，就是选取这些因子的中心点，run实验；然后保持所有其他因子不变，在一个因子中心点前后选两个点，来做二阶多项式拟合。重复此过程直到所有因子都被测试。
- Sequences of experiments：这里就更加灵活，可以通过多期的实验方法来渐进优化。常见的如Multi-armed bandit problem, Gittins index and Optimal design。基本的idea是，按照上一期实验的结果来判断下一期实验的方向。近期的研究可以参考这篇：
Scott, Steven L. "A modern Bayesian look at the multi‐armed bandit." Applied Stochastic Models in Business and Industry 26.6 (2010): 639-658.
最后关于实验设计...貌似有本handbook式的教科书：
Montgomery, Douglas (2013). Design and analysis of experiments (8th ed.). Hoboken, NJ: John Wiley & Sons, Inc. ISBN 9781118146927.
。。。。。。。。。。。。。。。。
瞬间觉得自己真是跳进了一个大坑。