KNN——图像分类

内容参考自：https://zhuanlan.zhihu.com/p/20894041?refer=intelligentunit

用像素点的rgb值来判断图片的分类准确率并不高，但是作为一个练习knn的题目，还是挺不错的。

CIFAR-10是一个图像分类数据集。数据集包含60000张32*32像素的小图片，每张图片都有一个类别标注(总共有10类)，分成了50000张的训练集和10000张的测试集。

然后下载后得到的并不是实实在在的图片（不然60000张有点可怕...），而是序列化之后的，需要我们用代码来打开来获得图片的rgb值。

 import pickle

 def unpickle(file):

    with open(file, 'rb') as f:

    dict = pickle.load(f, encoding='latin1')

    return dict

由此得到的是一个字典，有data和labels两个值。

data：

一个10000*3072的numpy数组，这个数组的每一行存储了32*32大小的彩色图像。前1024个数是red，然后分别是green,blue。

labels：
一个范围在0-9的含有10000个数的一维数组。第i个数就是第i个图像的类标。

2. 基于曼哈顿距离的1NN分类

这个训练文件很大，如果全部读的话会占据很多内存...第一次全部读直接内存爆炸直接死机。所以这里我就读了一个文件的内容。

 #! /usr/bin/dev python

 # coding=utf-8

 import os

 import sys

 import pickle

 import numpy as np

 def load_data(file):

     with open(file, 'rb') as f:

         datadict = pickle.load(f, encoding='latin1')

         X = datadict['data']

         Y = datadict['labels']

         X = X.reshape(10000, 3, 32, 32).transpose(0, 2, 3, 1).astype('float')

         Y = np.array(Y)

         return X, Y

 def load_all(root):

     xs = []

     ys = []

     for n in range(1, 2):

         f = os.path.join(root, 'data_batch_%d' %(n,))

         X, Y = load_data(f)

         xs.append(X)

         ys.append(Y)

     X_train = np.concatenate(xs)   #转换为行向量

     Y_train = np.concatenate(ys)

     del X, Y

     X_test, Y_test = load_data(os.path.join(root, 'test_batch'))

     return X_train, Y_train, X_test, Y_test

 def classTest(Xtr_rows, Xte_rows, Y_train):

     count = 0

     numTest = Xte_rows.shape[0]

     result = np.zeros(numTest)   #构造一维向量的结果

     for i in range(numTest):

         distance = np.sum(np.abs(Xtr_rows - Xte_rows[i,:]), axis=1)

         min_dis = np.argmin(distance)

         result[i] = Y_train[min_dis]

         print('%d:  %d' %(count, result[i]))

         count += 1

     return result

 if __name__ == '__main__':

     X_train, Y_train, X_test, Y_test = load_all('D:\学习资料\机器学习\cifar-10-python\\')

     Xtr_rows = X_train.reshape(X_train.shape[0], 32 * 32 * 3)

     Xte_rows = X_test.reshape(X_test.shape[0], 32 * 32 * 3)

     result = classTest(Xtr_rows, Xte_rows, Y_train)

     print('accuracy: %f' % (np.mean(result == Y_test)))

最后测试结果如下：（跑了很久...）

KNN——图像分类

3. KNN

有了上面的基础，接下来要实现最KNN就很简单了，保存与测试数据最接近的k个数据，最后选出最多的即可。

 def classTest(Xtr_rows, Xte_rows, Y_train, k):

     count = 0

     numTest = Xte_rows.shape[0]

     result = np.zeros(numTest)   #构造一维向量的结果

     for i in range(numTest):

         classCount = {}

         distance = np.sum(np.abs(Xtr_rows - Xte_rows[i,:]), axis=1)

         distance = distance.argsort()

         for j in range(k):

             votelabel = Y_train[distance[j]]

             classCount[votelabel] = classCount.get(votelabel, 0) + 1

             sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)

         result[i] = sortedClassCount[0][0]

         print('%d:  %d' % (count, result[i]))

         count += 1

     return result

4. 验证

对于如何确定一个最佳的k值，我们就需要去做验证，需要注意的是测试集不能作为验证集去验证。一般来说就是将训练数据分为两部分，一部分作为验证集去确定最佳的k值，最后再去用该k值去测试。

如果数据不是很多的话，那么就可以用交叉验证来寻找最佳的k值，交叉验证就是将数据分为多份，依次选一份作为验证集，比如将训练数据分为5分，然后进行5次训练，每次将其中一份作为验证集，另外四份作为训练集。

秒客网

KNN——图像分类

相关文章