文件名称：核函数Kernel-pkill命令 按照进程名杀死进程
文件大小：7.02MB
文件格式：PDF
更新时间：2024-06-27 19:47:12
支持向量机 SVM 核函数 SOM算法
2.2、核函数Kernel 2.2.1、特征空间的隐式映射：核函数 咱们首先给出核函数的来头： 在上文中，我们已经了解到了SVM处理线性可分的情况，而对于非线性的情况，SVM 的处理方法是选择一个核函数 ， 通过将数据映射到高维空间，来解决在原始空间中线性不可分的问题。由于核函数的优良品质，这样的非线性扩展在计算量 上并没有比原来复杂多少，这一点是非常难得的。当然，这要归功于核方法——除了 SVM 之外，任何将计算表示为数据点的 内积的方法，都可以使用核方法进行非线性扩展。 也就是说，Minsky和Papert早就在20世纪60年代就已经明确指出线性学习器计算能力有限。为什么呢？因为总 体上来讲，现实世界复杂的应用需要有比线性函数更富有表达能力的假设空间，也就是说，目标概念通常不能由 给定属性的简单线性函数组合产生，而是应该一般地寻找待研究数据的更为一般化的抽象特征。 而下文我们将具体介绍的核函数则提供了此种问题的解决途径，从下文你将看到，核函数通过把数据映射到高 维空间来增加第一节所述的线性学习器的能力，使得线性学习器对偶空间的表达方式让分类操作更具灵活性和可 操作性。因为训练样例一般是不会独立出现的，它们总是以成对样例的内积形式出现，而用对偶形式表示学 习器的优势在为在该表示中可调参数的个数不依赖输入属性的个数，通过使用恰当的核函数来替代内积，可以 隐式得将非线性的训练数据映射到高维空间，而不增加可调参数的个数(当然，前提是核函数能够计算对应着 两个输入特征向量的内积)。 1、简而言之：在线性不可分的情况下，支持向量机通过某种事先选择的非线性映射(核函数)将输入变量映射 到一个高维特征空间，在这个空间中构造 优分类超平面。我们使用SVM进行数据集分类工作的过程首先是同预 先选定的一些非线性映射将输入空间映射到高维特征空间(下图很清晰的表达了通过映射到高维特征空间，而把平面上本身 不好分的非线性数据分了开来)： 使得在高维属性空间中有可能 训练数据实现超平面的分割，避免了在原输入空间中进行非线性曲面分割计 算。SVM数据集形成的分类函数具有这样的性质：它是一组以支持向量为参数的非线性函数的线性组合，因此分 类函数的表达式仅和支持向量的数量有关，而独立于空间的维度，在处理高维输入空间的分类时，这种方法尤其 有效，其工作原理如下图所示： 2、具体点说：在我们遇到核函数之前，如果用原始的方法，那么在用线性学习器学习一个非线性关系，需要 选择一个非线性特征集，并且将数据写成新的表达形式，这等价于应用一个固定的非线性映射，将数据映射到特 征空间，在特征空间中使用线性学习器，因此，考虑的假设集是这种类型的函数： 这里ϕ：X->F是从输入空间到某个特征空间的映射，这意味着建立非线性学习器分为两步： 1. 首先使用一个非线性映射将数据变换到一个特征空间F， 2. 然后在特征空间使用线性学习器分类。 在上文我提到过对偶形式，而这个对偶形式就是线性学习器的一个重要性质，这意味着假设可以表达为训练点 κ(⋅,⋅)