为了避免自己对知识遗忘过快，所以决定对自己学习机器学习的过程做一下记录，也希望能帮到一些初学者！
1、基本术语：（非常重要）
数据集：记录每条数据，数据由属性和属性值组成，这样的集合称为数据集合
示例、样本、特征向量：每条记录是关于一个事件或对象（这里是一个西瓜）的描述
属性、特征：反映时间或对象在某方面的表现或性质的事项
属性空间、样本空间、输入空间：属性张成的空间
维数：每个样本由d个属性描述（例如上面的西瓜数据使用了3个属性），d（3）称为该样本的维数
学习、训练：从数据中学的模型的过程
训练数据：训练过程中使用的数据
训练样本：每个训练数据
训练集：训练样本组成的集合
假设：学得模型对应了关于数据的某种潜在的规律
真相、真实：潜在规律自身
样例：拥有了标记信息的示例
标记空间、输出空间：所有标记的集合
2、假设空间：
假设空间其实就是样本属性所有可能的取值组成的空间，如上图色泽、根蒂、敲声对应的属性取值分别为（青绿、乌黑）、（蜷缩、硬挺、稍蜷）、（浊响、清脆、沉闷），*（星号）表示不确定值，还考虑好瓜不存在的情况，所以总共有3x4x4+1=49种情况。
3、版本空间：
存在与训练集一致的假设集合称为版本空间
4、归纳偏好：
如上图1.2所示符合训练集的假设不止一个，那么就需要归纳偏好来确定最终的假设，常用的就是奥卡姆剃刀原则。
5、NFL定理（没有免费的午餐（No Free Lunch Throrem））:
NFL定理证明的是两个学习算法a和b，若在西瓜分类问题上a算法优于b算法，并不代表a算法在解决其他问题上也优于b算法，也有可能在某个问题上b算法优于a算法。所以，NFL定理最重要意义是，在脱离实际意义情况下，空泛地谈论哪种算法好毫无意义，要谈论算法优劣必须针对具体学习问题。这样理解其实是在情理之中的，下面看下如何证明NFL定理：
要想理解上面的公式首先的明白每个字符代表的含义：
P(x)为“在某个数据集中抽取一个能让h误判的样本的概率”
这样一来公式1.1就非常容易理解了，即求出了算法a在训练集之外的所有样本上的误差
由乘法的分配率的：
由：
由全概率公式，下面这一项其实等于1
所以可化简为：
这样就证明了NFL定理，我的这个系列博客会持续更新，觉得有帮助的朋友可以继续阅读我后面的文章，
《机器学习（周志华）》Chapter1 绪论 课后习题答案
参考网址：
https://www.jianshu.com/p/cbe8e0fe7b2c