聚类属于无监督学习,事先不知道数据会分为几类,通过聚类分析将数据聚合成几个群体。聚类是不需要对数据进行训练和学习的。主要的聚类算法有K-Means和DBSCAN。
K-Means算法的基本原理比较简单:1.指定K值(数据要分成的簇的数目),并指定初始的k个质心;2.遍历每个数据点,计算其到各个质心的距离,将其归类到距离最近的质心点;3分类完毕后,求各个簇的质心,得到新的质心点;4.重复2和3中的操作,计算新的质心与旧的质心之间距离,如果小于设定的误差值,则停止计算,否则继续进行迭代。
K-Means算法的效果由SSE(sum of square error误差平方和)来衡量,聚类的效果受K值和初始质心影响很大,有可能会在局部形成聚类点。有一种改进方法是二分K-Means算法,每次选择SSE值最大的簇进行二分类,直到分成K个聚类。
K-Means算法还有一个很明显的缺点是对于某些分布的点是不能进行分类的,比如如图中的点:
应该分为外环一个簇,内部一个簇的,K-Means的分类明显是不合理的。针对它的这些缺点提出了DBSCAN算法。
DBSCAN(Density-Based Spatial Clustering of Applications with Noise)算法的原理指定一个半径r和阈值MinPts,将点归为三类:1)核心点,如下图点A,在它的r半径内,点密度大于等于阈值MinPts;2)边界点,如下图B和C点,在很核心点的r范围内,但是其自身r范围内点密度小于阈值MinPts;3)离群点,如下图N点,其r范围内没有其他的点。
具体的聚类方法是:1.先将所有点标记为unvisited,并随机选择一个unvisited的点p,改变其状态为visited,从它开始遍历;2.点p若为核心点,且不属于任何的簇,则新建簇C,并对其r范围内的点进行遍历,直到遇到边界点位置;3.在剩下的unvisted点中随机找一个点开始2操作,直至所有的点都变为visited。
对两种聚类方法的优缺点总结如下:
K-Means | DBSCAN | |
优点 |
1.简单,快速,容易实现; 2.适合常规数据集; |
1.不需要指定簇个数; 2.可以发现任意形状的簇; 3.擅长找到离群点(检测任务); 4.两个参数就够了; |
缺点 | 1.K值难确定: 2.复杂度与样本呈线性关系; 3.很难发现任意形状的簇; |
1.高维数据有些困难(可以做降维); 2.参数难以选择(参数对结果的影响非常大); 3.Sklearn中效率很慢(数据削减策略); |