【机器学习】scikit-learn调用KNN算法并手动模仿封装自己的KNN算法
import numpy as np
from math import sqrt
from collections import Counter
class KNNClassifier:
# 定义构造函数
def __init__(self, k):
# 初始化KNN分类器
assert k >= 1, "k must be valid"
self.k = k
self._X_train = None # 自定义私有的训练数据集变量
self._y_train = None # 自定义私有的标签向量
# 根据训练数据集X_train和y_train来训练KNN分类器
def fit(self, X_train, y_train):
# 代码健壮性考虑，增加断言
assert X_train.shape[0] == y_train.shape[0], \
"the size of X_train must be equal to the size of y_train."
assert self.k <= X_train.shape[0], \
"the size of X_train must be at least k."
self._X_train = X_train
self._y_train = y_train
return self
# 自定义predict函数，用于对待预测的数据集进行预测
def predict(self, X_predict):
assert self._X_train is not None and self._y_train is not None, \
"must fit before predict!"
assert X_predict.shape[1] == self._X_train.shape[1], \
"the feature number of x must be equal to X_train."
y_predict = [self._predict(x) for x in X_predict]
return np.array(y_predict) # 结果为返回np中的数组类型
# 内部私有的函数，是真正KNN算法的实现过程
# 函数实现的功能：给定单个待预测数据x，返回x的预测结果
def _predict(self, x):
assert x.shape[0] == self._X_train.shape[1], \
"the feature number of x must be equal to X_train."
# 计算两点之间的欧式距离
distences = [sqrt(np.sum((x_train - x) ** 2)) for x_train in self._X_train]
# 对距离进行排序
nearest = np.argsort(distences)
# 求出k个最近的点所在_y_train中的值
topK_y = [(self._y_train[i]) for i in nearest[: self.k]]
# 统计最近k个点的在topK_y中的总数，该总数相当于投票数
votes = Counter(topK_y)
# 根据votes投票数，将在y_train中投票数最多的类型（值）返回
ret_predict = votes.most_common(1)[0][0]
return ret_predict
# __repr__ 方法的主要作用是返回一个对象的字符串表示形式，这个字符串表示通常是为开发者服务的，目的是提供一个明确且可用于调试的对象描述。
# 当你在交互式环境中输入对象名称或者使用 repr() 函数时，Python 会调用对象的 __repr__ 方法来获取对象的字符串表示。
def __repr__(self):
return "KNN(k=%d)" % self.k