分类预测 | MATLAB实现CNN-GRU-Attention多输入分类预测
分类效果
模型描述
Matlab实现CNN-GRU-Attention多变量分类预测
1.data为数据集，格式为excel，12个输入特征，输出四个类别；
2.MainCNN-GRU-AttentionNC.m为主程序文件，运行即可；
注意程序和数据放在一个文件夹，运行环境为Matlab200b及以上。
4.注意力机制模块：
SEBlock（Squeeze-and-Excitation Block）是一种聚焦于通道维度而提出一种新的结构单元，为模型添加了通道注意力机制，该机制通过添加各个特征通道的重要程度的权重，针对不同的任务增强或者抑制对应的通道，以此来提取有用的特征。该模块的内部操作流程如图，总体分为三步：首先是Squeeze 压缩操作，对空间维度的特征进行压缩，保持特征通道数量不变。融合全局信息即全局池化，并将每个二维特征通道转换为实数。实数计算公式如公式所示。该实数由k个通道得到的特征之和除以空间维度的值而得，空间维数为H*W。其次是Excitation激励操作，它由两层全连接层和Sigmoid函数组成。如公式所示，s为激励操作的输出，σ为激活函数sigmoid，W2和W1分别是两个完全连接层的相应参数，δ是激活函数ReLU，对特征先降维再升维。最后是Reweight操作，对之前的输入特征进行逐通道加权，完成原始特征在各通道上的重新分配。
程序设计
- 完整程序和数据获取方式1：同等价值程序兑换；
- 完整程序和数据获取方式2：私信博主获取。
%% 数据平铺
% 将数据平铺成1维数据只是一种处理方式
% 也可以平铺成2维数据，以及3维数据，需要修改对应模型结构
% 但是应该始终和输入层数据结构保持一致
p_train = double(reshape(P_train, 15, 1, 1, M));
p_test = double(reshape(P_test , 15, 1, 1, N));
%--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
%% 构造网络结构
layers = [
imageInputLayer([15, 1, 1]) % 输入层
convolution2dLayer([2, 1], 16) % 卷积核大小为2*1 生成16个卷积
batchNormalizationLayer % 批归一化层
reluLayer % relu激活层
maxPooling2dLayer([2, 1], 'Stride', 1) % 最大池化层 大小为2*1 步长为2
convolution2dLayer([2, 1], 32) % 卷积核大小为2*1 生成32个卷积
batchNormalizationLayer % 批归一化层
reluLayer % relu激活层
maxPooling2dLayer([2, 1], 'Stride', 1) % 最大池化层，大小为2*2，步长为2
fullyConnectedLayer(4) % 全连接层（类别数）
softmaxLayer % 损失函数层
classificationLayer]; % 分类层
%--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
%% 创建网络
layers = [ ...
sequenceInputLayer(12) % 输入层
gruLayer(6, 'OutputMode', 'last') % GRU层
reluLayer % Relu激活层
fullyConnectedLayer(4) % 全连接层
softmaxLayer % 分类层
classificationLayer];
%% 参数设置
options = trainingOptions('adam', ... % Adam 梯度下降算法
'MiniBatchSize', 100, ... % 批大小
'MaxEpochs', 1000, ... % 最大迭代次数
'InitialLearnRate', 1e-2, ... % 初始学习率
'LearnRateSchedule', 'piecewise', ... % 学习率下降
'LearnRateDropFactor', 0.1, ... % 学习率下降因子
'LearnRateDropPeriod', 700, ... % 经过700次训练后 学习率为 0.01 * 0.1
'Shuffle', 'every-epoch', ... % 每次训练打乱数据集
'ValidationPatience', Inf, ... % 关闭验证
'Plots', 'training-progress', ... % 画出曲线
'Verbose', false);
%--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
%% 训练模型
net = trainNetwork(p_train, t_train, layers, options);
参考资料
[1] https://blog.csdn.net/kjm13182345320/article/details/129943065?spm=1001.2014.3001.5501
[2] https://blog.csdn.net/kjm13182345320/article/details/129919734?spm=1001.2014.3001.5501