AI K-means算法对数据进行聚类分析-实验报告

1、 问题描述及实验要求

K-means算法对data中数据进行聚类分析
（1）算法原理描述
（2）算法结构
（3）写出K-means具体功能函数（不能直接调用sklearn.cluster(Means)功能函数)具体函数功能中返回值包括 数据类标签，累中心，输入包括：数据，类别数
（4）可视化画图，不同类数据采用不同颜色
（5）算法分析
类类方差，平均方差，不同初始点对聚类结果的影响？
如何解决？

2、 算法原理描述

K-means算法原理：
1、首先输入分组k 的值，即通过指定分组数目得到 k 个分组；
2、从数据集中随机选取 k 个数据点作为初始中心；
3、对集合中每一数据点，计算与每一个中心点的距离，离哪个中心点距离近，就加入中心点对应的组。
4、对k个组计算距离的平均值
5、如果两次求得的均值距离小于某一个设置的阈值（表示重新计算的质心的位置变化不大，趋于稳定，或者说收敛），可以认为我们进行的聚类已经达到期望的结果，算法终止。
6、果两次求得的均值距离大于某一个设置的阈值，继续迭代，如果迭代次数大于设定的值，那么终止。

3、 算法结构

1） 首先定义了一个类：K_Means，该类中有5个属性以及2个方法。5个属性包括：k是分组数，tolerance最小误差，max_iter最大迭代次数，centers_存放中心点坐标，clf_存放分组坐标；2个方法是：_init_构造函数，fit执行迭代。
2） 对于fit函数。首先从数据集data中取出k个点作为中心点，然后遍历数据集中的每个点，计算这个点与k个中心点坐标的距离，把最小的距离添加到对应的分组中去。然后根据k个分组的内容，更新出k个新的中心点坐标，与上一次中心点坐标比对，如果误差值都小于设定值，那么结束，如果不小于，那么继续迭代，如果迭代超过了指定次数，那么也停止。

4、 K-means算法代码

总代码在文末

class K_Means(object):
    def __init__(self, k=2, tolerance=0.0001, max_iter=300):
        self.k_ = k
        self.tolerance_ = tolerance
        self.max_iter_ = max_iter

    def fit(self, data):
        self.centers_ = {}
        for i in range(self.k_):
            self.centers_[i] = data[i]

        for i in range(self.max_iter_):
            self.clf_ = {}
            for i in range(self.k_):
                self.clf_[i] = []

            for feature in data:
                distances = []
                for center in self.centers_:
                    distances.append(np.linalg.norm(feature - self.centers_[center]))
                classification = distances.index(min(distances))
                self.clf_[classification].append(feature)

            prev_centers = dict(self.centers_)
            for c in self.clf_:
                self.centers_[c] = np.average(self.clf_[c], axis=0)

            optimized = True
            for center in self.centers_:
                org_centers = prev_centers[center]
                cur_centers = self.centers_[center]
                if np.sum((cur_centers - org_centers) / org_centers * 100.0) > self.tolerance_:
                    optimized = False
            if optimized:
                break

5、 实验结果

实验结果截图：

图1-散点图观察特征

图2-聚类分析图

6、 算法分析

如果想看初始点、方差等对结果的影响，可以采用初中最常用的控制变量法：
①算法相同，初始点对结果的影响：

次数	中心点1	中心点2	中心点3	中心点4
1	[2.6265299，3.10868015]	[-2.46154315, 2.78737555]	[2.80293085, -2.7315146 ]	[-3.38237045, -2.9473363 ]
2	[-3.53973889, -2.89384326]	[2.6265299 , 3.10868015]	[-2.46154315, 2.78737555]	[2.65077367, -2.79019029]

结论1：可以看出，初始点选取的不同，中心点的坐标会有略微变化（不应该一一对应）
②初始点相同，类间方差与平均方差对结果的影响：

次数	中心点1	中心点2	中心点3	中心点4
类间方差	[2.80293085, -2.7315146 ]	[-3.38237045, -2.9473363 ]	[2.6265299 , 3.10868015]	[-2.46154315, 2.78737555]
平均方差	[-3.53973889, -2.89384326]	[2.6265299 , 3.10868015]	[-2.46154315, 2.78737555]	[ 2.80293085, -2.7315146 ]

**结论2：**可以看出，算法的不同，中心点的坐标会有略微变化（不应该一一对应）
总结论：（如果没有发生偶然性）**对于中心点的不同选择、算法不同的选择，都会导致结果产生一些改变。**由于结果是由各个分组算出来的均值，所以也意味着：对于中心点的不同选择、算法不同的选择，都会导致分组划分不一样。

7、 所有代码

import numpy as np
from matplotlib import pyplot as plt

plt.rcParams['font.family'] = ['Microsoft YaHei']


class K_Means(object):
    def __init__(self, k=2, tolerance=0.0001, max_iter=300):
        self.k_ = k
        self.tolerance_ = tolerance
        self.max_iter_ = max_iter

    def fit(self, data):
        self.centers_ = {}
        for i in range(self.k_):
            self.centers_[i] = data[i+19]

        for i in range(self.max_iter_):
            self.clf_ = {}
            for i in range(self.k_):
                self.clf_[i] = []

            for feature in data:
                distances = []
                for center in self.centers_:
                    distances.append(np.linalg.norm(feature - self.centers_[center]))
                classification = distances.index(min(distances))
                self.clf_[classification].append(feature)

            prev_centers = dict(self.centers_)
            for c in self.clf_:
                self.centers_[c] = np.average(self.clf_[c], axis=0)

            optimized = True
            for center in self.centers_:
                org_centers = prev_centers[center]
                cur_centers = self.centers_[center]
                if np.sum((cur_centers - org_centers) / org_centers * 100.0) > self.tolerance_:
                    optimized = False
            if optimized:
                break


# 读取data.txt里面的值
data = np.loadtxt('data.txt', dtype=float, delimiter=" ")
X = data[..., 0]
Y = data[..., 1]

plt.title("散点图观察特诊")
plt.xlabel("X轴")
plt.ylabel("Y轴")
plt.plot(X, Y, 'ob')
plt.show()

if __name__ == '__main__':
    k_means = K_Means(k=4)
    k_means.fit(data)
    print(k_means.centers_)

    rgb = ['r', 'g', 'b', 'y']
    for center in k_means.centers_:
        plt.scatter(k_means.centers_[center][0], k_means.centers_[center][1], marker='*', s=150)

    for cat in k_means.clf_:
        for point in k_means.clf_[cat]:
            plt.scatter(point[0], point[1], c=rgb[cat])

    plt.show()