机器学习入门-主成分分析(PCA)

时间:2022-11-24 08:04:33

主成分分析:

用途:降维中最常用的一种方法

目标:提取有用的信息(基于方差的大小)

存在的问题:降维后的数据将失去原本的数据意义

向量的内积:A*B = |A|*|B|*cos(a) 如果|B| = 1,那么A*B = |A| * cos(a) 即在B的方向上对A做投影

机器学习入门-主成分分析(PCA)

基变化: 如果向量为(3, 2)那么它可以有(1, 0)和(0, 1)一组基进行表示,这两个基是正交的

机器学习入门-主成分分析(PCA)

在基变化过程中,每一个基都是正交的即线性无关

数据与第一个基进行内积,形成一个新的分量,数据与第二个基做内积,形成第二个分量,由于基是正交的,而内积表示的是投影,因此这两个分量也是正交的

即 1/m ai.dot(bi) = 0。

方差:变量的方差越大,其分散程度也就越大,方差 (ai-ui).dot((ai-ui).T) ui表示的是样本的均值

协方差:两个向量的内积,协方差越小,表示两个向量越不相似cov(a, b) = 1/m*(a.dot(b.T))

引入协方差的目的:

如果单纯只看变化后的方差大小,那么求得的基可能都在方差最大的方向附件进行徘徊,因为我们为了使变换后的特征尽可能的表示原始信息,我们使得变化后的特征是正交的情况,即特征之间线性无关,协方差cov=0

结合上述的两个条件:第一:变换后的矩阵的方差最大1/m ai.dot(ai.T)

第二:变换后的矩阵的协方差等于0  1/m ai.dot(bi.T)

我们引入了协方差矩阵,协方差矩阵对角线是方差,非对角线上是协方差

公式: 1/m X.dot(X.T)

1/m * Y.dot(Y.T) = 1/m PX.dot((PX).T) = 1/m(P* X * X^T * P^T)

令上面的式子中的 X*X^T等于C,那么上面的式子就是 1/m * Y.dot(Y.T) = 1/m(P* C * P^T)

我们需要使得1/m * Y.dot(Y.T) 满足上述两个条件,即对C做一个对角化变化,使得变化后的矩阵对角线上的表示方差(从大到小排列), 非对角线上等于0

机器学习入门-主成分分析(PCA)

这个问题前人已经研究了很透,即上述变化的P就是C的特征向量,而C等于X*X^T

我们只需要求得X*X^T的特征向量即可

上述的过程的实现步骤:

1.对特征进行标准化

2.去均值

3.求协方差矩阵 X*X^T

4.协方差矩阵的特征向量

5.使用前几维的特征向量与特征进行内积,实现特征降维

代码:

第一步:导入数据, 进行列名赋值

第二步:提取特征和标签

第三步:对每一个特征进行物体类别画直方图,研究不同变量对特征分布的影响

第四步:对样本特征进行标准化操作

第五步:对样本去均值并构造协方差矩阵X.dot(X.T)

第六步:对构造好的协方差矩阵求特征值和特征向量

第七步:将求得的特征值和特征向量进行组合, 对组合的特征进行排序操作,将排序后的特征进行使用np.cumsum对特征值进行加和

第八步:使用条形图和步进图对特征值和加和后的特征进行作图操作

第九步:选取前两个特征向量与标准化后的特征进行内积操作,获得降维后的特征

第十步:对降维后的特征画出散点图

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt # 第一步 数据读取
data = pd.read_csv('iris.data') data.columns = ['sepal_len', 'sepal_wid', 'petal_len', 'petal_wid', 'classes'] # 第二步 提取特征
X = data[['sepal_len', 'sepal_wid', 'petal_len', 'petal_wid']].values
y = data['classes'].values feature_names = ['sepal_len', 'sepal_wid', 'petal_len', 'petal_wid']
label_names = data['classes'].unique() # 第三步 对每一个特征的样品类别做直方图
for feature in range(len(feature_names)):
plt.subplot(2, 2, feature+1)
for label in label_names:
plt.hist(X[y==label, feature], bins=10, alpha=0.5, label=label)
plt.legend(loc='best')
plt.show()

机器学习入门-主成分分析(PCA)

不同变量对类别分布的影响

# 第四步 对特征进行标准化操作
from sklearn.preprocessing import StandardScaler std_feature = StandardScaler().fit_transform(X) # 第五步 对特征去除均值, 并构造协方差矩阵, 也可以使用np.conv进行构造
mean_fea = std_feature.mean(axis=0)
cov_matrix = (std_feature - mean_fea).T.dot(std_feature-mean_fea) # 第六步 使用np.linalg.eig 求出协方差矩阵的特征值和特征向量 eig_val, eig_vector = np.linalg.eig(cov_matrix) # 第七步:我们将特征值和特征向量进行组合 eig_paries = [(eig_val[j], eig_vector[:, j]) for j in range(len(eig_val))] # 获得对组合的特征值进行排序,获得重要性的占比
sum_val = np.sum(eig_val)
feature_importance = [eig_v[0]/sum_val * 100 for eig_v in sorted(eig_paries, key=lambda x:x[0], reverse=True)]
print(feature_importance)
# 使用np.cumsum进行两两的前后加和
su_feature_importance = np.cumsum(feature_importance)
# 第八步:对特征重要性进行作图操作
figure = plt.figure(figsize=(8, 6))
plt.bar(range(4), feature_importance, align='center', label='identity explain variance', alpha=0.5)
# plt.step表示的是步进图, where表示的线条的表示方式
plt.step(range(4), su_feature_importance, where='mid', label='cumidentity explain variance')
plt.xlabel('PC component')
plt.ylabel('variance importance')
plt.show()

机器学习入门-主成分分析(PCA)

特征值重要比例图

# 第九步:使用前两个特征向量进行矩阵的变换

eig_vector_two = np.vstack([eig_paries[0][1], eig_paries[1][1]])
trans_std_X = std_feature.dot(eig_vector_two.T) # 第十步: 对变化后的数据进行画图操作 figure = plt.figure(figsize=(8, 6))
for label, c in zip(label_names, ['red', 'green', 'black']):
plt.scatter(std_feature[y==label][:, 0], std_feature[y==label][:, 1], c=c, label=label, alpha=0.6, s=20)
leg = plt.legend(loc='best')
leg.get_frame().set_alpha(0.6)
plt.xlabel(feature_names[0])
plt.ylabel(feature_names[1])
plt.show() figure = plt.figure(figsize=(8, 6))
for label, c in zip(label_names, ['red', 'green', 'black']):
plt.scatter(trans_std_X[y==label][:, 0], trans_std_X[y==label][:, 1], c=c, label=label, alpha=0.6, s=20)
leg = plt.legend(loc='best')
leg.get_frame().set_alpha(0.6)
plt.xlabel('PC1')
plt.ylabel('PC2')
plt.show()

机器学习入门-主成分分析(PCA)机器学习入门-主成分分析(PCA)

原始特征图                                                               降维后的特征图