降维算法(二)非线性降

《降维算法(二)非线性降》由会员分享，可在线阅读，更多相关《降维算法(二)非线性降（18页珍藏版）》请在文档大全上搜索。

1、1降维算法（二） 非线性降维一、 核技巧（Kernel method）二、等距映射(Isomap)2核函数发展历史 早在1964年Aizermann等在势函数方法的研究中就将该技术引入到机器学习领域，但是直到1992年Vapnik等利用该技术成功地将线性SVMs推广到非线性SVMs时其潜力才得以充分挖掘。而核函数的理论则更为古老，Mercer定理可以追溯到1909年，再生核希尔伯特空间(ReproducingKernel Hilbert Space, RKHS)研究是在20世纪40年代开始的。 3n核方法的思想核方法核方法核方法的主要思想是基于这样一个假设：“在低维空间中不能线性分割的点集，通

2、过转化为高维空间中的点集时，很有可能变为线性可分的” ，例如下图 左图的两类数据要想在一维空间上线性分开是不可能的，然而通过F(x)=(x-a)(x-b)把一维空间上的点转化为右图上的二维空间上，就是可以线性分割的了 4 如果直接把低维度的数据转化到高维度的空间中，然后再去寻找线性分割平面，会遇到两个大问题。n一是由于是在高维度空间中计算，导致curse of dimension问题；n二是非常的麻烦，每一个点都必须先转换到高维度空间，然后求取分割平面的参数等等；怎么解决这些问题？ 答案是通过核方法（kernel method） 5 定义一个核函数K(x1,x2)= 其中x1和x2是低维度空间

3、中点（在这里可以是标量，也可以是向量），(xi)是低维度空间的点xi转化为高维度空间中的点的表示， 表示向量的内积。 )(),(21xx注意：这里核函数K(x1,x2)的表达方式一般都不会显式地写为内积的形式，即我们不关心高维度空间的形式。核函数巧妙地解决了上述的问题，在高维度中向量的内积通过低维度的点的核函数就可以计算了。 核方法的原理6这里还有一个问题：“为什么我们要关心向量的内积？”，一般地，我们可以把分类的问题分为两类： 参数学习的形式和基于实例的学习形式。参数学习的形式参数学习的形式 就是通过一堆训练数据，把相应模型的参数给学习出来，然后训练数据就没有用了，对于新的数据，用学习出来的