文件名称：强化学习-遥感数字图像处理:原理与方法
文件大小：2.94MB
文件格式：PDF
更新时间：2024-07-21 13:50:08
人工智能; 深度学习; 强化学习; 深度强化学习;
２．１ 深度学习 ＤＬ的概念源于人工神经网 络（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＡＮＮ）．含多隐藏层的多层感知器（Ｍｕｌｔｉ－ Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ，ＭＬＰ）是ＤＬ模 型 的 一 个 典 型 范 例．ＤＬ模 型 通 常 由 多 层 的 非 线 性 运 算 单 元 组 合 而 成．其将较低层的输出作为更高一层的输入，通过这 种方式自动地从大量训练数据中学习抽象的特征表 示，以发现数据的分布式特征［２８］．与浅层网络相比， 传统的多隐藏层网络模型有更好的特征表达能力， 但由于计算能力不足、训练数据缺乏、梯度弥散等原 因，使其一直无法取得突破性进展．直到２００６年，深 度神 经 网 络 的 研 究 迎 来 了 转 机．Ｈｉｎｔｏｎ等 人［２９］提 出了一种训练深层神经网络的基本原则：先用非监 督学习对网络逐层进行贪婪的预训练，再用监督学 习对整个网络进行微调．这种预训练的方式为深度 神经网络提供了较理想的初始参数，降低了深度神 经网络的优化难度．此后几年，各种ＤＬ模型被相继 提出．包 括 堆 栈 式 自 动 编 码 器［３０－３１］（Ｓｔａｃｋｅｄ Ａｕｔｏ－ Ｅｎｃｏｄｅｒ，ＳＡＥ）、限 制 玻 尔 兹 曼 机［３２－３３］（Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ，ＲＢＭ）、深 度 信 念 网 络［３３－３４］ （Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋ，ＤＢＮ）、循 环 神 经 网 络 ［３５－３６］ （Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＲＮＮ）等． 随着训练数据的增长和计算能力的提升，卷积 神经网络（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＣＮＮ）开 始在各领域中得到广泛 应 用．Ｋｒｉｚｈｅｖｓｋｙ等 人 ［２］在 ２０１２年提出了 一 种 称 为 ＡｌｅｘＮｅｔ的 深 度 卷 积 神 经 网络，并在当年的ＩｍａｇｅＮｅｔ图像分类竞赛中，大幅 度降低了图像识别的ｔｏｐ－５错误率．此后，卷积神经 网络朝着以下４个方向迅速发展： （１）增加 网 络 的 层 数．在２０１４年，视 觉 几 何 组 （Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ，ＶＧＧ）的 Ｓｉｍｏｎｙａｎ等 人［３７］提出了ＶＧＧ－Ｎｅｔ模型，进一步降低了图像识 别的错误率．Ｈｅ等人［３８］提出了一种扩展深度 卷 积 神经网络的高效方法； （２）增加 卷 积 模 块 的 功 能．Ｌｉｎ等 人［３９］利 用 多 层感知卷积层替代传统的卷积操作，提出了一种称 为Ｎｅｔｗｏｒｋ ｉｎ Ｎｅｔｗｏｒｋ（ＮＩＮ）的深度卷积网络模型． Ｓｚｅｇｅｄｙ等人 ［４０］在现有网络模型中加入一种新颖的 Ｉｎｃｅｐｔｉｏｎ结构，提出了ＮＩＮ的改进版本ＧｏｏｇｌｅＮｅｔ， 并在２０１４年取得了ＩＬＳＶＲＣ物体检测的冠军； （３）增加网络层数和卷积模块功能．Ｈｅ等人［４１］ 提出了深度残差网络（Ｄｅｅｐ Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ，ＤＲＮ）， 并在２０１５年取得了ＩＬＳＶＲＣ物体检测和物体识别 的双料冠军．Ｓｚｅｇｅｄｙ等 人 ［４２］进 一 步 将Ｉｎｃｅｐｔｉｏｎ结 构与ＤＲＮ相结合，提出了基于Ｉｎｃｅｐｔｉｏｎ结构的深 度 残 差 网 络（Ｉｎｃｅｐｔｉｏｎ Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ，ＩＲＮ）． 此后，Ｈｅ等人［４３］提 出 了 恒 等 映 射 的 深 度 残 差 网 络 （Ｉｄｅｎｔｉｆｙ Ｍａｐｐｉｎｇ Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ，ＩＭＲＮ），进 一步提升了物体检测和物体识别的准确率； （４）增加 新 的 网 络 模 块．向 卷 积 神 经 网 络 中 加 入循 环 神 经 网 络［４４］（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ， ＲＮＮ）、注意力机制［４５］（Ａｔｔｅｎｔｉｏｎ Ｍｅｃｈａｎｉｓｍ，ＡＭ） 等结构． ２．２ 强化学习 ＲＬ是一种 从 环 境 状 态 映 射 到 动 作 的 学 习，目 ３１期 刘 全等：深度强化学习综述