1.KNN算法是采用测量不同特征值之间的距离方法进行分类。
2.优缺点：
优点：精度高，对异常值不敏感，无数据输入假定。
缺点：计算复杂度大，空间复杂度高。
使用数据范围：数值型和标准型
3.工作原理：
存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将新的数据的每个特征与样本集中的数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最邻近）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-邻近算法中k的出处，通常k是不大于20的整数。最后选取k个最相似数据中出现次数最多的分类，作为新数据的分类。
4.KNN算法的一般处理流程：
（1）收集数据：可以使用任何方法
（2）准备数据：距离计算所需要的数值，最好是结构化的数据格式
（3）分析数据：可以使用任何方法
（4）训练算法：此步骤不适用于KNN算法
（5）测试算法：计算错误率
（6）使用算法：首先需要输入样本数据和机构化的输出结果，然后运行KNN算法判定输入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理。
5.实战使用：
对未知类别属性的数据集中的点与当前点之间的距离
(1).计算已知类别数据集；
(2).按照距离递增次序排序；
(3).选取与当前点距离最小的K个点；
(4).确定前K个点所在类别的出现频率；
(5).返回前K个点出现频率最高的类别作为当前点的预测分类。
6.距离计算公式，简单的二维模型使用欧几里得计算公式{((xA0 - xB0)**2 + (xA1 - xB1)**2) ** 0.5}即可（后续会专门对计算距离公式做一个单元章节讲解）。
7.在构建模型后可以使用Python的Matplotlib绘图。
pip install Matplotlib 即可绘图
8.归一化：
概念：当多组特征值差异很大是，为了将数值的维度降低到统一范围，避免一个特征值的数据量很大会忽略特征值很小的特征的作用占比。为此我们引入归一化。
公式如下：
newValue = (oldValue - min)/(max - min)
9.实战项目1：
优化约会网站推荐算法：（包含项目源码，测试数据）
10.实战项目2：
识别手写别数字系统：（包含项目源码，测试数据）
11.实战项目3：
水果分类 （包含项目源码，测试数据）