【新生学习】第一周:深度学习及pytorch基础

时间:2022-05-11 15:43:58

DEADLINE: 2020-07-25 22:00

写在最前面: 本课程的主要思路还是要求大家大量练习 pytorch 代码,在写代码的过程中掌握深度学习的各类算法,希望大家能够坚持练习,相信经度过这个酷暑,不知不觉中,你会感觉自己有显著提高。代码教程在 github 上,如遇到图片不显示的情况,可参考博客解决问题:https://blog.csdn.net/qq_38232598/article/details/91346392

本周的基础学习任务包括 视频学习代码练习 两部分。部分同学可能以前学过这些内容,对内容较为熟悉的同学,可以跳过前两部分直接进入第三部分 进阶练习

1. 视频学习

视频学习包括两章内容:

1.1 绪论

(下载地址:https://www.jianguoyun.com/p/DVJarjYQrKKIBhi8la0D)

  • 从专家系统到机器学习
  • 从传统机器学习到深度学习
  • 深度学习的能与不能

1.2 深度学习概述

(下载地址:https://www.jianguoyun.com/p/DVlvT3cQrKKIBhi_la0D)

  • 浅层神经网络:生物神经元到单层感知器,多层感知器,反向传播和梯度消失
  • 神经网络到深度学习:逐层预训练,自编码器和受限玻尔兹曼机

1.3 pytorch 基础

(下载地址:https://www.jianguoyun.com/p/DYkxgJcQrKKIBhi5lq0D)

所有视频下载链接2020年7月25日自动过期,请抓紧时间下载。

2. 代码练习

代码练习需要使用谷歌的 Colab,它是一个 Jupyter 笔记本环境,已经默认安装好 pytorch,不需要进行任何设置就可以使用,并且完全在云端运行。使用方法可以参考 Rogan 的博客:https://www.cnblogs.com/lfri/p/10471852.html 国内目前无法访问 colab,可以安装 Ghelper: http://googlehelper.net/

2.1 图像处理基本练习

这部分内容包括:理解图像类型,进行一些基本的图像分割操作。代码我都写在了一个 JupyterNotebook 里面,地址为:https://github.com/OUCTheoryGroup/colab_demo/blob/master/01_Image_Processing.ipynb

要求: 把代码输入 colab,在线运行观察效果。

2.2 pytorch 基础练习

基础练习部分包括 pytorch 基础操作,链接:https://github.com/OUCTheoryGroup/colab_demo/blob/master/02_Pytorch_Basic.ipynb

要求: 把代码输入 colab,在线运行观察效果。

2.3 螺旋数据分类

【新生学习】第一周:深度学习及pytorch基础

代码链接:https://github.com/OUCTheoryGroup/colab_demo/blob/master/03_Spiral_Classification.ipynb

要求: 把代码输入 colab,在线运行观察效果

备注:详细说明可参考 https://atcold.github.io/pytorch-Deep-Learning/zh/week02/02-3/ 中英文字幕的视频讲解在B站:https://www.bilibili.com/video/BV1gV411o7AD?p=4 有精力的同学可以看看

2.4 回归分析

【新生学习】第一周:深度学习及pytorch基础

代码链接:https://github.com/OUCTheoryGroup/colab_demo/blob/master/04_Regression.ipynb

要求: 把代码输入 colab,在线运行观察效果

备注: 详细说明可参考 https://atcold.github.io/pytorch-Deep-Learning/zh/week02/02-3/ 中英文字幕的视频讲解在B站:https://www.bilibili.com/video/BV1gV411o7AD?p=4 有精力的同学可以看看

3. 进阶练习(optional)

本部分代码练习为选做内容,考虑到大家基础不同,这部分供有余力的同学选做。主要内容包括: 迁移学习、图像分类、VGG模型

notebook链接:https://github.com/OUCTheoryGroup/colab_demo/blob/master/05_04_Transfer_VGG_for_dogs_vs_cats.ipynb

【新生学习】第一周:深度学习及pytorch基础

这部分为 Kaggle 于 2013 年举办的猫狗大战竞赛,使用在 ImageNet 上预训练的 VGG 网络进行测试。因为原网络的分类结果是1000类,所以这里进行迁移学习,对原网络进行 fine-tune (即固定前面若干层,作为特征提取器,只重新训练最后两层)。

仔细研读AI研习社猫狗大战赛题的要求:https://god.yanxishe.com/41 (目前比赛已经结束,但仍可做为练习赛每天提交测试结果)

下载比赛的测试集(包含2000张图片),利用fine-tune的VGG模型进行测试,按照比赛规定的格式输出,上传结果评测(练习赛每天仅可评测5次)。我已进行测试,VGG模型训练 1 个 epoch 的准确率约为 96.1 %。

【新生学习】第一周:深度学习及pytorch基础

大家可以思考,如何改进当前模型,可以进一步提高分类准确率。有了这些技术积累,可以较好的应对未来的 kaggle 竞赛。

4. 博客作业要求

完成一篇博客,题目为 “ 第一次作业:深度学习基础 ” ,博客内容包括三部分:

【第一部分】视频学习心得及问题总结

根据三个视频的学习内容,写一个总结,最后列出没有学明白的问题,初步计划针对大家的疑问,下周四(7月23日)下午在腾讯会议讨论一下,大家可提前把问题列出来。(以前已经学过视频课程的同学可以略过此步骤)

【第二部分】代码练习

在谷歌 Colab 上完成代码练习中的 2.1、2.2、2.3、2.4 节,关键步骤截图,并附一些自己的想法和解读。(以前已进行过代码练习的同学可以略过此步骤)

【第三部分】进阶练习(选做)

在谷歌 Colab 上完成猫狗大战的VGG模型的迁移学习,关键步骤截图,并附一些自己想法和解读。

在该代码的基础上,下载AI研习社“猫狗大战”比赛的测试集,利用fine-tune的VGG模型进行测试,按照比赛规定的格式输出,上传结果在线评测。将在线评测结果截图,及实现代码发在博客。同时,分析使用哪些技术可以进一步提高分类准确率。

大家有任何问题可以随时在群里交流。