Tag: 完备内积空间

Categories
读书有感

统计学习精要(The Elements of Statistical Learning)课堂笔记（二十二）：核函数和核方法

补上笔记。这节课讲的就是大名鼎鼎的Kernel Method...

核函数（正定）

定义 , 满足：

1) 对称：

2) 正定： n个观测， 正定（或者非负定）。

举例：

  • 常数——
  • 内积—— ，或广义下，其中，从。

性质：

1. 封闭性

1) 正定，，则正定。

2) 正定，正定，则正定，正定。

3) 正定，，则正定。

4) 正定

5) 正定。

2. 归一性

正定，。

再生核Hilbert空间（RKHS)

（走神一下：关于这个命名的吐槽猛击 -> 翻译版、 英文原版Normal Deviate）

1. Hilbert空间：完备内积空间，可以视作欧氏空间的推广。。

在这个空间中，我们定义：

  • 加法：x+y
  • 数乘：, 。
  • 内积：对称性;线性 ，.
  • 零元素：若，则定义为零元素。
  • 完备性：如果且，则。（收敛到该空间内）。

2. 再生核Hilbert空间

给定正定，可以构造Hilbert空间H使得，；且构造一个，使得，即核函数可以写成内积形式。

这样对于，。

核方法

1. 基本思想

将线性模型推广到非线性模型的方法（其中较为简单的一种）

，从到的一个映射。举例：，这样就可以拓展为广义线性模型。

2. SVM

可以转化为：

令，，则

非线性变换之后，

注意此时的维数有变化（）。

---------------------

如果各位更关心SVM后面的直觉，还是去看看Andrew Ng的相关课程吧...这里推导太多，直觉反而丢了一些。

Categories
读书有感

≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（八）

平滑splines

有数据集，然后定义目标函数，记为(1)

式。然后我们有如下结论：使（1）最小化的解一定是分段三次多项式。

证明如下。

记为函数族上的分段三次多项式（splines），且在首尾两段和上是一次多项式，那么他一定有的自由度。

若，则当时，有。

(2) 我们设也是(1)式的解，则下面证明一定能找到使得目标函数比小，则,

.

(3)记，则

(4) 下面我们证明，（两者内积为0），即。

且

所以得到。

(5)有了上述结论后，我们有，然后有，所以对于所有的g，我们都有其二阶导数的范数小于f的二阶导数的范数，故在(1)式中代入g总比代入f大（或者相等）。这样我们就把一个无限维的最优化问题变为了有限维。

子波分析

1. 函数的平移与缩放

平移：

缩放：

组合起来就是。由此，对于每个，我们可以定义一个函数族，写成矩阵形式就是

2. Hoar函数

(1)定义： 。

(2)Hoar函数的平滑与缩放。定义Hoar函数族为,

。这样我们每个为一组（胖瘦一样）。

定理1（正交）：是平方可积函数的一个正交基，即对于任意的，有。

定理2（增长）：随着d的增加，张成的闭子空间逐渐增大，且。这样，d比较小的函数一定能用d比较大的函数（正交基）来表示，比如。直观的理解就是，d越大，分辨率越高。

定理3（完备）：

(3)定义，使，或者。

(4)定义，然后。

定理4：函数族,，则亦为完备基，且，如果。也就是说，和之间的空间随着d的增加，彼此正交，且所有的叠起来之后亦为完备空间。

如此，我们称为子波（mother）而为father函数。注意，这里Hoar函数非连续。

在更一般的场合，我们寻找为father函数，然后定义，满足（正交），且（增长），（完备）。

再寻找mother函数满足（同层次内正交）、(相邻层次正交补）和完备。

这样的和到底存不存在呢？实证结论是存在，而且很多，不过坏消息是他们的形式都不算简单。

spline和子波分析

spline和子波分析都提供了一组线性基底，其线性组合可以定义函数类。由此，我们可以定义广义线性模型的函数族，为统计学习模型的函数族做约束。

Categories
读书有感

≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（七）

例行的废话。刚刚看了一下Google Analytics里面的统计，那篇七天搞定SAS果然不负众望的摘得了（单篇博文）点击量桂冠。意外的是居然有那么多人会点击到“关于我”这个页面...呃，对我这么好奇么？

2 /learning-sas-in-7-days-1/
3 /coursera上的r语言课程/
4 /r会议小记/
5 /使用lyxxetex编译中文tex和输出中文pdf/
6 /中文文本聚类小尝试（text-clustering-in-r）/
7 /me/
8 /?统计学习精要the-elements-of-statistical-learning?课堂笔记（一）/
9 /快速将word的doc文件转为latex！/
10 /?统计学习精要the-elements-of-statistical-learning?课堂笔记（三）/

不过他的后续就比较悲催了，点击量寥寥。然后还不出意外的，weibo超越google成为了流量来源第一：

1 weibo.com / referral
2 (direct) / (none)
3 baidu / organic
4 google / organic
5 rss / rss
6 r-ke.info / referral
7 cloudlychen.net / referral
8 h2w.iask.cn / referral
9 so.360.cn / referral
10 yihui.name / referral

果然最近墙发威比较厉害...google啊google...

另外，出乎意料的是一些旧文反而受欢迎，哎~还好看到《统计学习精要(The Elements of Statistical Learning)》课堂笔记系列一直有点击，也算是这一系列写的比较值得吧。今天继续。

----------------笔记开始-----------------

貌似是第五章，不过老师一直在讲一些非常基础的数学预备工具：基展开与正则化，其中用到泛函概念若干。我不知道该开心呢，还是不开心呢，还是开心呢，毕竟泛函学过，毕竟泛函忘得也差不多了...

1. 预备知识

在P维欧氏空间内，我们定义两个运算：加法（x+y）和数乘()，然后定义一下函数空间：上的平方可积函数，同样的定义加法和数乘：f+g和).

接下来还有若干概念...呜呼：

  • 线性组合：
  • 线性独立
  • 线性子空间：我们可以定义线性子空间， , 有.
  • 基
  • 维数

这些概念连上运算加法和数乘一起，构成线性空间。进一步的，我们可以定义内积空间：

  • 内积：（离散）或连续
  • 之后的正交就很容易定义了：或者
  • 还可以定义正交基...
  • 还有正交子空间：
  • 正交补： , 使得 且，比如最简单的二维空间里面，X轴和Y轴...
  • 范数：

有了范数以后，我们就可以进一步的定义极限：如果 , 则 ；或者连续的，。

然后就是闭子空间的概念了：如果 ，且 ，则必有 ，即极限点都在空间内。注，在有限维空间内，只有空集和全集既开又闭。

还有完备基...总之大致的就是一步步的：定义内积 ->; 内积空间 ->; 存在可数的完备正交基 ->; Hilbert空间（有限维完备空间）

2.B-splines（样条）

2.1 定义

B-splines更多的是一种用离散逼近连续的感觉...好吧我承认我是完全的没有接触过这个东西，扫盲中...

首先，我们有一个闭区间[a,b],然后有个点聚集在其中，且依次增大。然后我们就可以定义一个函数集合： ，然后对于d=0 ,定义分段函数 ，然后就可以递归的定义

举个例子呢，就有. 这样下去，有：

  • d=0，0阶的时候，只有一段函数上有非零值；
  • d=1，1阶的时候，有两段函数有非零值；
  • d=2，2阶的时候，有三段函数有非零值...

2.2 性质

  • 性质一： 是分段的d次多项式；
  • 性质二：局部性：， 当 或者；
  • 性质三：光滑：是d-1阶光滑的多项式，即d-1阶导数都等于0；
  • 性质四：如果某一函数满足性质三，则必然和只相差一个常数因子。

2.3 d阶B-splines

我们可以用B-splines来逼近任意一个函数，则有，从这个角度看B-splines有点基底的味道。从分段多项式，到光滑的分段多项式，再到d-1阶光滑的d次多项式，我们就有了 d阶B-splines...

------笔记结束---------

讲了这么多，我一直在猜这些到底是用来干什么的呢...不知道接下来的哪些内容用到了完备内积空间、基展开和线性逼近呢？