机器学习（五） -- 监督学习（6） --逻辑回归

系列文章目录及链接

上篇：机器学习（五） -- 监督学习（5） -- 线性回归2
下篇：机器学习（五） -- 监督学习（7） --SVM1

前言

tips：标题前有“***”的内容为补充内容，是给好奇心重的宝宝看的，可自行跳过。文章内容被“文章内容”删除线标记的，也可以自行跳过。“！！！”一般需要特别注意或者容易出错的地方。

本系列文章是作者边学习边总结的，内容有不对的地方还请多多指正，同时本系列文章会不断完善，每篇文章不定时会有修改。

由于作者时间不算富裕，有些内容的《算法实现》部分暂未完善，以后有时间再来补充。见谅！

文中为方便理解，会将接口在用到的时候才导入，实际中应在文件开始统一导入。

一、通俗理解及定义

1、什么叫逻辑回归（What）

逻辑回归=线性回归+sigmoid函数

逻辑回归（Logistic Regression）简单来讲，就是找到一条直线将一个二分类数据划分开。

2、逻辑回归的目的（Why）

解决二分类问题，通过属于某个类别的概率值来判断是否属于某个类别，并且这个类别默认标记为1(正例)，另外的一个类别会标记为0(反例)。

3、如何找到这条线（How）

其实这和线性回归步骤类似，其中差别在于“检查模型拟合效果”和“调整模型位置角度”使用的方法有所不同。

随机画一条直线，作为初始的直线
检查一下它的拟合效果，
如果不是最好的（达到阈值），就调整直线位置和角度
重复第2、3步，直到最好效果（到达设定的阈值），最终就是我们想要的模型。

需要用一个函数（sigmoid函数），对于输入的数据都将其映射到0-1之间，并且如果函数值大于0.5，就判定为1，否则属于0。这样就可以转换为概率表示。

二、原理理解及公式

1、感知机

1.1、问题描述

以图片分类为例，将图片分为纵向和横向

把这些数据通过图上展示就是这样，为了将图中不同颜色（不同类别）的点分开，我们画这样一条线。这次分类的目的就是为了找到这样一条线。

这是一条“使权重向量成为法线向量的直线”（让权重向量与直线垂直）

w即为权重向量；使其成为法线向量的的直线，即使

1.2、感知机模型

接受多个值后将每个值与各自权重相乘，最后输出总和的模型。

1.3、判别函数

内积是衡量向量之间相似程度的指标，结果为正说明相似，为0则垂直，为负则说明不相似。

用更好理解，因为|w|与|x|都为正数，所以决定内积符号的是cosθ，即小于90度为相似，大于90度为不相似，即

1.4、参数估计（权重更新表达式）

若与原标签值相等，则权重向量不更新，若与原标签值不等，则用向量相加为权重向量更新。

如图所示，若与原标签不等，则

更新后直线

更新后，相等

步骤：先随机确定一条直线（即随机确定一个权重向量w），内积代入一个真实值数据x，通过判别函数得到一个值（1或-1），若与原标签值相等，则权重向量不更新，若与原标签值不等，则用向量相加为权重向量更新。

！！！注意：感知机只能解决线性可分问题
线性可分：可以使用直线分类的情况
线性不可分：不能用直线分类

2、sigmoid函数

黑色为sigmoid函数，红色为阶跃函数（不连续）

作用：逻辑回归的输入就是一个线性回归的结果，我们在线性回归中可以得到一个预测值，Sigmoid 函数将任意的输入映射到了[0,1]区间，这样就完成了由值到概率的转换，也就是分类任务。

3、逻辑回归

3.1、模型定义

逻辑回归=线性回归+sigmoid函数

线性回归：

sigmoid函数：

逻辑回归：

为了让y表示标签，改为：

做概率使用：

3.2、判别函数

即可以通过概率来区分类别

3.3、决策边界

可以改写为如下形式：

当

代入数据：

既有这样的图

这样用于数据分类的直线就是决策边界

3.4、目标函数（对数似然函数）

我们希望是这样的：
当y=1时，P(y=1|x)是最大的
当y=0时，P(y=0|x)是最大的

似然函数（联合概率）：这里是概率我们希望它最大化

对数似然函数：直接对似然函数进行微分比较困难，需要先取对数

变形后即为：

3.4、参数估计（梯度下降）

似然函数的微分：

3、优缺点

3.1、优点：

1. 实现简单：逻辑回归是一种简单的算法，容易理解和实现。
2. 计算效率高：逻辑回归的计算量相对较小，适用于大规模数据集。
3. 可解释性强：逻辑回归输出结果是概率值，可以直观地解释模型的输出。

3.2、缺点：

1. 线性可分性要求：逻辑回归是一种线性模型，对于非线性可分的问题表现较差。
2. 特征相关性问题：逻辑回归对输入特征之间的相关性较为敏感，当特征之间存在较强相关性时，可能导致模型的性能下降。
3. 过拟合问题：当样本特征过多或样本数量较少时，逻辑回归容易出现过拟合的问题。

三、**算法实现

1、获取数据

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib notebook

# 读取数据
train=pd.read_csv('csv/images2.csv')
train_x=train.iloc[:,0:2]
train_y=train.iloc[:,2]
# print(train_x)
# print(train_y)

# 绘图
plt.figure()
plt.plot(train_x[train_y ==1].iloc[:,0],train_x[train_y ==1].iloc[:,1],'o')
plt.plot(train_x[train_y == 0].iloc[:,0],train_x[train_y == 0].iloc[:,1],'x')
plt.axis('scaled')
# plt.axis([0,500,0,500])
plt.show()

2、数据处理

# 初始化参数
theta=np.random.randn(3)

# 标准化
mu = train_x.mean(axis=0)
sigma = train_x.std(axis=0)
# print(mu,sigma)


def standardize(x):
    return (x - mu) / sigma

train_z = standardize(train_x)
# print(train_z)

# 增加 x0
def to_matrix(x):
    x0 = np.ones([x.shape[0], 1])
    return np.hstack([x0, x])

X = to_matrix(train_z)


# 绘图
plt.figure()
plt.plot(train_z[train_y ==1].iloc[:,0],train_z[train_y ==1].iloc[:,1],'o')
plt.plot(train_z[train_y == 0].iloc[:,0],train_z[train_y == 0].iloc[:,1],'x')
plt.axis('scaled')
# plt.axis([0,500,0,500])
plt.show()

3.sigmoid函数和判别函数

# sigmoid 函数
def f(x):
    return 1 / (1 + np.exp(-np.dot(x, theta)))

# 分类函数
def classify(x):
    return (f(x) >= 0.5).astype(np.int)

4.参数设置与训练

# 学习率
ETA = 1e-3

# 重复次数
epoch = 5000

# 更新次数
count = 0
print(f(X))

# 重复学习
for _ in range(epoch):
    theta = theta - ETA * np.dot(f(X) - train_y, X)

    # 日志输出
    count += 1
    print('第 {} 次 : theta = {}'.format(count, theta))

5.绘图确认

# 绘图确认
plt.figure()
x0 = np.linspace(-2, 2, 100)
plt.plot(train_z[train_y ==1].iloc[:,0],train_z[train_y ==1].iloc[:,1],'o')
plt.plot(train_z[train_y == 0].iloc[:,0],train_z[train_y == 0].iloc[:,1],'x')
plt.plot(x0, -(theta[0] + theta[1] * x0) / theta[2], linestyle='dashed')
plt.show()

6.验证

# 验证
text=[[200,100],[500,400],[150,170]]
tt=pd.DataFrame(text,columns=['x1','x2'])
# text=pd.DataFrame({'x1':[200,400,150],'x2':[100,50,170]})
x=to_matrix(standardize(tt))
print(x)
a=f(x)
print(a)

b=classify(x)
print(b)

plt.plot(x[:,1],x[:,2],'ro')

四、接口实现

1、乳腺癌数据集介绍

1.1、API

from sklearn.datasets import load_breast_cancer

1.2、基本信息

# 键
print("乳腺癌数据集的键：",breast_cancer.keys())



# 特征值名字、目标值名字
print("乳腺癌数据集的特征数据形状：",breast_cancer.data.shape)
print("乳腺癌数据集的目标数据形状：",breast_cancer.target.shape)

print("乳腺癌数据集的特征值名字：",breast_cancer.feature_names)
print("乳腺癌数据集的目标值名字：",breast_cancer.target_names)

# print("乳腺癌数据集的特征值：",breast_cancer.data)
# print("乳腺癌数据集的目标值：",breast_cancer.target)



# 返回值
# print("乳腺癌数据集的返回值：\n", breast_cancer)
# 返回值类型是bunch--是一个字典类型

# 描述
# print("乳腺癌数据集的描述：",breast_cancer.DESCR)



# 每个特征信息
print("最小值：",breast_cancer.data.min(axis=0))
print("最大值：",breast_cancer.data.max(axis=0))
print("平均值：",breast_cancer.data.mean(axis=0))
print("标准差：",breast_cancer.data.std(axis=0))

# 取其中间两列特征
x=breast_cancer.data[0:569,0:2]
y=breast_cancer.target[0:569]

samples_0 = x[y==0, :]
samples_1 = x[y==1, :]



# 实现可视化
plt.figure()
plt.scatter(samples_0[:,0],samples_0[:,1],marker='o',color='r')
plt.scatter(samples_1[:,0],samples_1[:,1],marker='x',color='y')
plt.xlabel('mean radius')
plt.ylabel('mean texture')
plt.show()

# 绘制每个特征直方图，显示特征值的分布情况。
for i, feature_name in enumerate(breast_cancer.feature_names):
    plt.figure(figsize=(6, 4))
    sns.histplot(breast_cancer.data[:, i], kde=True)
    plt.xlabel(feature_name)
    plt.ylabel("数量")
    plt.title("{}直方图".format(feature_name))
    plt.show()

# 绘制箱线图，展示每个特征最小值、第一四分位数、中位数、第三四分位数和最大值概括。
plt.figure(figsize=(10, 6))
sns.boxplot(data=breast_cancer.data, orient="v")
plt.xticks(range(len(breast_cancer.feature_names)), breast_cancer.feature_names, rotation=90)
plt.xlabel("特征")
plt.ylabel("值")
plt.title("特征箱线图")
plt.show()

1.3、缺失值与异常值

# 创建DataFrame对象
df = pd.DataFrame(breast_cancer.data, columns=breast_cancer.feature_names)

# 检测缺失值
print("缺失值数量：")
print(df.isnull().sum())

# 检测异常值
print("异常值统计信息：")
print(df.describe())
# 使用.describe()方法获取数据集的统计信息，包括计数、均值、标准差、最小值、25%分位数、中位数、75%分位数和最大值。

1.4、相关性

# 创建DataFrame对象
df = pd.DataFrame(breast_cancer.data, columns=breast_cancer.feature_names)

# 计算相关系数
correlation_matrix = df.corr()

# 可视化相关系数热力图
plt.figure(figsize=(10, 8))
sns.heatmap(correlation_matrix, annot=True, cmap="coolwarm")
plt.title("Correlation Heatmap")
plt.show()

2、API

sklearn.linear_model.LogisticRegression
 
导入：
from sklearn.linear_model import LogisticRegression
 
语法：
LogisticRegression(solver='liblinear', penalty=‘l2’, C = 1.0)
    solver可选参数:{'liblinear', 'sag', 'saga','newton-cg', 'lbfgs'}，
        默认: 'liblinear'；用于优化问题的算法。
        对于小数据集来说，“liblinear”是个不错的选择，而“sag”和'saga'对于大型数据集会更快。
        对于多类问题，只有'newton-cg'， 'sag'， 'saga'和'lbfgs'可以处理多项损失;“liblinear”仅限于“one-versus-rest”分类。
    penalty：正则化的种类
    C：正则化力度

2、流程

2.1、获取数据

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split

from sklearn.linear_model import LogisticRegression

# 获取数据
breast_cancer = load_breast_cancer()

2.2、数据预处理

# 划分数据集
x_train,x_test,y_train,y_test = train_test_split(breast_cancer.data, breast_cancer.target, test_size=0.2, random_state=1473)

2.3、特征工程

2.4、模型训练

# 实例化学习器
lr = LogisticRegression(max_iter=10000)

# 模型训练
lr.fit(x_train, y_train)

print("建立的逻辑回归模型为：\n", lr)

2.5、模型评估

# 用模型计算测试值，得到预测值
y_pred = lr.predict(x_test)
print('预测前20个结果为：\n', y_pred[:20])

# 求出预测结果的准确率和混淆矩阵
from sklearn.metrics import accuracy_score, confusion_matrix,precision_score,recall_score
print("预测结果准确率为：", accuracy_score(y_test, y_pred))
print("预测结果混淆矩阵为：\n", confusion_matrix(y_test, y_pred))

print("预测结果查准率为：", precision_score(y_test, y_pred))
print("预测结果召回率为：", recall_score(y_test, y_pred))

from sklearn.metrics import roc_curve,roc_auc_score,auc

fpr,tpr,thresholds=roc_curve(y_test,y_pred)
 
plt.plot(fpr, tpr)
plt.axis("square")
plt.xlabel("假正例率/False positive rate")
plt.ylabel("正正例率/True positive rate")
plt.title("ROC curve")
plt.show()

print("AUC指标为：",roc_auc_score(y_test,y_pred))

# 求出预测取值和真实取值一致的数目 
num_accu = np.sum(y_test == y_pred)
print('预测对的结果数目为：', num_accu)
print('预测错的结果数目为：', y_test.shape[0]-num_accu)
print('预测结果准确率为：', num_accu/y_test.shape[0])

2.6、结果预测

经过模型评估后通过的模型可以代入真实值进行预测。

旧梦可以重温，且看：机器学习（五） -- 监督学习（5） -- 线性回归2
欲知后事如何，且看：机器学习（五） -- 监督学习（7） --SVM1