【深度学习篇】---CNN和RNN结合与对比,实例讲解

时间:2022-04-01 07:45:28

一、前述

CNN和RNN几乎占据着深度学习的半壁*,所以本文将着重讲解CNN+RNN的各种组合方式,以及CNN和RNN的对比。

二、CNN与RNN对比

1、CNN卷积神经网络与RNN递归神经网络直观图

【深度学习篇】---CNN和RNN结合与对比,实例讲解

2、相同点:
    2.1. 传统神经网络的扩展。
    2.2. 前向计算产生结果,反向计算模型更新。
    2.3. 每层神经网络横向可以多个神经元共存,纵向可以有多层神经网络连接。

3、不同点
    3.1. CNN空间扩展,神经元与特征卷积;RNN时间扩展,神经元与多个时间输出计算
    3.2. RNN可以用于描述时间上连续状态的输出,有记忆功能,CNN用于静态输出
   3. 3. CNN高级100+深度,RNN深度有限

三、CNN+RNN组合方式

1. CNN 特征提取,用于RNN语句生成图片标注。

【深度学习篇】---CNN和RNN结合与对比,实例讲解

2. RNN特征提取用于CNN内容分类视频分类。

【深度学习篇】---CNN和RNN结合与对比,实例讲解

3. CNN特征提取用于对话问答图片问答。

【深度学习篇】---CNN和RNN结合与对比,实例讲解

四、具体应用

1、图片标注

基本思路
       目标是产生标注的语句,是一个语句生成的任务,LSTM?
       描述的对象大量图像信息,图像信息表达,CNN?
       CNN网络中全连接层特征描述图片,特征与LSTM输入结合。

具体步骤:

1.1 模型设计-特征提取
全连接层特征用来描述原图片
LSTM输入:word+图片特征;输出下一word。

【深度学习篇】---CNN和RNN结合与对比,实例讲解

1.2 模型设计-数据准备

1. 图片CNN特征提取
2. 图片标注生成Word2Vect 向量
3. 生成训练数据:图片特征+第n单词向量:第n+1单词向量。

【深度学习篇】---CNN和RNN结合与对比,实例讲解

1.3 模型训练:
1. 运用迁移学习,CNN特征,语句特征应用已有模型
2. 最终的输出模型是LSTM,训练过程的参数设定:梯度上限(gradient clipping), 学习率调整(adaptivelearning)
3. 训练时间很长。

1.4 模型运行:

1. CNN特征提取
2. CNN 特征+语句开头,单词逐个预测

2、视频行为识别 :

视频中在发 生什么?

【深度学习篇】---CNN和RNN结合与对比,实例讲解

2.1常用方法总结:

RNN用于CNN特征融合

1. CNN 特征提取

2. LSTM判断

3. 多次识别结果分析。

不同的特征不同输出。

【深度学习篇】---CNN和RNN结合与对比,实例讲解

或者:所有特征作为一个输出。

【深度学习篇】---CNN和RNN结合与对比,实例讲解

2.2 RNN用于CNN特征筛选+融合:

1. 并不是所有的视频 图像包含确定分类信息

2. RNN用于确定哪些frame 是有用的

3. 对有用的图像特征 融合。

2.3 RNN用于,目标检测:

1. CNN直接产生目标候选区

2. LSTM对产生候选区融合(相邻时刻位置近 似)

3. 确定最终的精确位置。

【深度学习篇】---CNN和RNN结合与对比,实例讲解

2.4 多种模型综合:

竞赛/应用中,为了产生最好结果,多采用 多模型ensemble形式。

【深度学习篇】---CNN和RNN结合与对比,实例讲解

 3、图片/视频问答

3.1 问题种类

【深度学习篇】---CNN和RNN结合与对比,实例讲解

3.2 图片问答意义
1. 是对纯文本语言问答系统的扩展
2. 图片理解和语言处理的深度融合
3. 提高人工智能应用范围-观察,思考,表达

我的博客即将搬运同步至腾讯云+社区,邀请大家一同入驻:https://cloud.tencent.com/developer/support-plan?invite_code=1wzcx9d4ww853

【深度学习篇】---CNN和RNN结合与对比,实例讲解的更多相关文章

  1. [转] 用深度学习(CNN RNN Attention)解决大规模文本分类问题 - 综述和实践

    转自知乎上看到的一篇很棒的文章:用深度学习(CNN RNN Attention)解决大规模文本分类问题 - 综述和实践 近来在同时做一个应用深度学习解决淘宝商品的类目预测问题的项目,恰好硕士毕业时论文 ...

  2. 深度学习入门: CNN与LSTM(RNN)

    1. 理解深度学习与CNN: *李宏毅教授的入门视频<一天搞懂深度学习>:https://www.bilibili.com/video/av16543434/ 其中对CNN算法的矩阵卷积 ...

  3. 深度学习之循环神经网络RNN概述,双向LSTM实现字符识别

    深度学习之循环神经网络RNN概述,双向LSTM实现字符识别 2. RNN概述 Recurrent Neural Network - 循环神经网络,最早出现在20世纪80年代,主要是用于时序数据的预测和 ...

  4. 深度学习之 cnn 进行 CIFAR10 分类

    深度学习之 cnn 进行 CIFAR10 分类 import torchvision as tv import torchvision.transforms as transforms from to ...

  5. 深度学习篇——Tensorflow配置(傻瓜安装模式)

    前言 如果你是一个完美主义者,那么请绕过此文,请参考<深度学习篇——Tensorflow配置(完美主义模式)> 安装 pip install tensorflow ok,只要不报错,安装就 ...

  6. 【深度学习】CNN 中 1x1 卷积核的作用

    [深度学习]CNN 中 1x1 卷积核的作用 最近研究 GoogLeNet 和 VGG 神经网络结构的时候,都看见了它们在某些层有采取 1x1 作为卷积核,起初的时候,对这个做法很是迷惑,这是因为之前 ...

  7. 用深度学习(CNN RNN Attention)解决大规模文本分类问题 - 综述和实践

    https://zhuanlan.zhihu.com/p/25928551 近来在同时做一个应用深度学习解决淘宝商品的类目预测问题的项目,恰好硕士毕业时论文题目便是文本分类问题,趁此机会总结下文本分类 ...

  8. PyTorch中使用深度学习(CNN和LSTM)的自动图像标题

    介绍 深度学习现在是一个非常猖獗的领域 - 有如此多的应用程序日复一日地出现.深入了解深度学习的最佳方法是亲自动手.尽可能多地参与项目,并尝试自己完成.这将帮助您更深入地掌握主题,并帮助您成为更好的深 ...

  9. 深度学习:浅谈RNN、LSTM&plus;Kreas实现与应用

    主要针对RNN与LSTM的结构及其原理进行详细的介绍,了解什么是RNN,RNN的1对N.N对1的结构,什么是LSTM,以及LSTM中的三门(input.ouput.forget),后续将利用深度学习框 ...

随机推荐

  1. popupwindow的基本使用以及基本动画效果

    1.创建一个popupwindow view的布局文件自己写一个就好了,这里就不说了 View view= LayoutInflater.from(context).inflate(R.layout. ...

  2. 在CentOS中安装中文支持

    执行命令: # yum groupinstall chinese-support 修改配置文件: # vim /etc/sysconfig/i18n LANG="zh_CN.UTF-8&qu ...

  3. A&period;Kaw矩阵代数初步学习笔记 8&period; Gauss-Seidel Method

    “矩阵代数初步”(Introduction to MATRIX ALGEBRA)课程由Prof. A.K.Kaw(University of South Florida)设计并讲授. PDF格式学习笔 ...

  4. c 函数及指针学习 8

    联合体 1 2 3 4 5 6 7 8 9 10 11 12 13 #include <stdio.h>   union sa     {     double a;     int b; ...

  5. iOS播放短的音效

    在IOS中,有的时候需要播放很简短的声音文件,比如系统声音等,我们需要使用到下面的方式来播放声音: // 一.引入头文件 #import <AudioToolbox/AudioToolbox.h ...

  6. iOS iOS9下修改回HTTP模式进行网络请求

    升级为iOS9后,默认请求类型为https,如何使用http进行请求会报错 The resource could not be loaded because the App Transport Sec ...

  7. 逐步在Windows上结合CopSSH &plus; msysGit安装安装Git Server同时集成Git使用Visual Studio

    v\:* {behavior:url(#default#VML);} o\:* {behavior:url(#default#VML);} w\:* {behavior:url(#default#VM ...

  8. js获取后台json数据显示在jsp页面元素

    jsp id <font size=2 >Today:</font> <font id ="todaytotal" size=2 color=&quo ...

  9. background是什么样式?

    background是什么样式? 给标签添加背景图片 分为: background: url("图片路径");    #添加图片 background-position: xpx ...

  10. Android选择多图上传

    大概是这么个效果,类似与微信朋友圈选择图片的效果,如下图所示 首先,图片预览的这个界面我用的是GridView,当然也可以使用GridLayout,根据需求制定行列即可.同时重写适配器实现末尾是添加图 ...