NNDL 2022秋

时间:2022-12-21 08:00:50

第一届AI专业,很多课程都是第一次开课,老师和学生都在“摸着石头过河”。

好处是所学内容比较新,跟得上“潮流”,学习意愿比较强。

难处是教学资料相对欠缺,需要学的内容较多,难度较大。

大家经过一学期的共同努力,学到了不少知识。

整体效果还可以,存在的问题也不少,需要分析总结。

目录

教材及配套实验教材

教材

配套实验教材

教参推荐

知识体系

课程关联

继续学习

学科前沿

参加竞赛

课程反馈

1. 知识体系

2. 课程建议

● 收获了哪些新知识?

● 实验有什么收获?

● 学会了哪些新技能?

● 有哪些比较好的方面可以推广?

● 哪些不太好的地方需要改进?

3. 自我总结

推荐博客


教材及配套实验教材

神经网络与深度学习 (nndl.github.io)

NNDL 2022秋

教材

知识体系结构好,内容丰富。但不太适合入门自学,难度大,容易打击初学者。跟着老师在课堂学习效果比较好。抽象表达比较多,很多内容需要举例说明,特别是公式推导部分。公式非常简洁优美,但难度系数较高,需要花时间耐心学习。

NNDL 知识点梳理

NNDL 2022秋

NNDL 2022秋

配套实验教材

邱老师与飞桨强强联手,设计的实验自然是比普通老师水平高很多。设计的例子与教材很贴合。2022年7月出版,2022年8月底实验课开始使用。太及时了~

教材代码使用paddle编写。实验过程采用了阅读paddle代码,用pytorch实现的方式。原因在于pytorch使用者更多,便于学生与现实接轨。同时兼顾了解paddle,将来需要使用时,也可以快速上手。从学生反馈来看,这种实验设计效果良好。

实验教材配套有视频讲解和运行平台,便于自学。

神经网络与深度学习:案例与实践

NNDL实验 知识点梳理

NNDL 2022秋

教参推荐

NNDL 2022秋

机器学习基础十分重要,没有对ML的理解,DL教学无法开展。周志华老师的西瓜书和李航老师的机器学习方法(第三版之前:统计学习方法)皆为经典,应作为“枕边书”,遇到问题时候随时查看。

斋藤康毅老师的书籍对入门学习非常友好,语言通俗易懂。代码用numpy从基础分析,对初学者来说,比直接用框架好得多,便于理解底层结构。自学必备,但是当本科生教材内容有点少、也有点浅。作为教参,是不可或缺的上品。教学中多次引用了斋藤老师的例子,非常便于理解。

李沐老师的书籍不必多说,讲解风趣,代码详实,入门必备。从李老师那里学了很多,给李老师打个广告:第二版纸质书——《动手学深度学习(PyTorch版)》预计于2023年元旦面世。

《动手学深度学习》 

花书和PRML都是DL领域“圣经”级别的。初学者不要从这里入手。如果想通读这两本书籍来快速提高,很容易陷入“从入门到放弃”的窘境。内容多,难度大。这两本书的正确用法是:当做“字典”。遇到问题时候,来这里查找,看看这里怎么写的。水平达到较高程度之后,再考虑“通读”。

知识体系

课程关联

DL学习与其他课程之间的关联要有一定认识。

孤立的知识点作用有限,构成知识网络才能事半功倍,发挥更大功效。

NNDL 2022秋

继续学习

本学期只讲了前七章,学了教材的一半,还剩下一半。

计划在NLP教学中讲一部分,欢迎喜欢NLP的小伙伴选课。剩下的内容就需要自学了。

NNDL 2022秋

学科前沿

State-of-the-Art(SOTA)的东西,就需要自己看论文啦。

将来想上研究生的话,提前锻炼这方面能力很有必要。

对复试有好处,将来上研究生也可以快速融入。

本学期在教学过程中推荐了一些经典论文,部分同学进行了尝试,感觉难度很大。这很正常,大家都是一点点“熬”过来的。如果对DL有兴趣,可以继续坚持。读的多了,水平慢慢就长上来了。冰冻三尺非一日之寒,想一口吃成胖子是不可能的。

NNDL 2022秋

NNDL 2022秋

参加竞赛

人工智能领域赛事很多,可以了解一下。

参加竞赛可以提高动手能力,让所学东西真正落地。

对将来找工作有好处。

NNDL 2022秋

课程反馈

这个环节对老师来说是最重要的。

跟同学们交了作业,希望老师能点评一下的道理是一样的。如一位同学所说:没有反馈的作业越写越没劲。如果没有学生良性反馈,教师辛苦了一学期,可能只是感动了自己~

共收取反馈信息41人次(20AI2全员41人),非常感谢。同学们的反馈信息质量很高,认真的阅读了文章中的每一个字。顺道夸一夸20AI2班的学风,整体积极向上,课程基本全勤,听课、作业和实验质量都很好。16周的学习,经历各种挑战,始终坚持不懈。

NNDL 2022秋

1. 知识体系

● NNDL与其它课程有哪些关联?

● 哪些知识点以前学过?在哪门课?是否感觉重复学习浪费时间?

深度学习框架粗浅学习过CNN;机器学习重点学习过BP。

同学们普遍反应找到了“温故而知新”的感觉,可以从不同的角度学习,对问题的认识更加深刻。

也有同学提出,简单的问题可以不再重复,例如线性回归;复杂的问题可以巩固提高,例如CNN,学的更深更广。非常好的建议,有必要在以后的教学中改进。

2. 课程建议

理论课+实验课:教学内容、推进速度、讲授方法、课程难度、作业布置等方面。

● 收获了哪些新知识?

掌握到了什么程度?哪些知识点比较难理解?

对于大多数同学来说,整体内容都是“崭新”的知识,很多“专业名词”以前都没听说过。经过一学期的努力,收获颇丰。LSTM比较难,公式推导让人头痛。

其实BP和CNN也是颇有难度的,只是大家以前学过,现在是“锦上添花”。

感谢深度学习框架和机器学习老师为同学们打下坚实的基础,本学期DL才能较快进入状态。

LSTM的难点在于“新”,第一次见,难免生疏。寒假再复习复习,相信就没问题了。

公式推导的确是比较抽象。很多同学反应,一看到公式就“头大”。抽象的东西需要耐心些,可以把问题具体化,代入实际数字或是找生活中的实例,有助于通过“公式关卡”。客观的说,课本中的公式难度不太大,克服“公式恐惧”心理,把复杂的公式拆开看,逐点突破,多看几遍应该是能掌握。将来教学中还需设计更多“例子”,帮助同学们更顺利的掌握公式推导。将来看到公式,能感受到公式的简洁和优美,“公式关卡”就算是通关了。

● 实验有什么收获?

实验对理论学习有哪些帮助?直接用paddle做实验好,还是转pytorch好?

实验与理论的之间的关系非常密切。

同学们的共同感受:理论课听懂的东西,做实验时候才发现好多细节没有注意到,而这些细节不了解的话,程序是跑不起来的。实验同时可以反作用于理论,没有理论的支撑,根本不知道实验的意义所在。

几乎所有同学都赞同使用pytorch编程。pytorch跟当前DL学习现实情况接轨,同时增加了难度。如果只是用教材中的paddle,难免偷懒,用正确的代码跑一边,学不到内涵。根据paddle的思路,重写代码,提高了编程能力,也同时掌握了两种框架:paddle+pytorch。

● 学会了哪些新技能?

(例如:MarkDown、LaTeX、思维导图、编程工具等)

思维导图受到了普遍好评。很多同学表示将继续使用这个工具。

文本编辑、公式编辑也是很重要的技能,在今后的学习和工作中都会用到。

大多数同学都掌握了以上新技能,可喜可贺~

● 有哪些比较好的方面可以推广?

同学们慷慨的给予了很多表扬,这里就不列举了(受到表扬,自己偷偷开心下,今后继续保持)。

可推广学习方法中,主要有两点:博客作业和表格打分。

1. 比较集中的是“博客”作业方式。

多数同学感觉很“新奇”,督促自己更好的完成任务。

同时感觉写博客比写word累多了。

总的来说,过程是痛苦的,结果是美好的。

NNDL 2022秋

NNDL 2022秋

节选部分同学点评:

苦多于甜,但是能够学到很多很多的东西。

付出的多收获的也就多,还是很有成就感的!

学到了如何去学习,体会到了自主学习的乐趣。

通过写博客这种方式进行学习我非常感兴趣,觉得这样进行学习似乎有一种很奇特的感觉,并不会感到枯燥。

第一次真正地在这个大平台上写博客,完全透明式地教学也更适合我们去学习,也可以帮助到其他有需要的人,很意外也很惊喜。

通过半自主学习来完成学习任务,达成学习目标,可以让学生更加有参与感,能使学生更加认真的完成学习任务。

咬牙坚持下来的,虽说过程是十分痛苦的,但是不管怎么说也是坚持了一学期,这门课也学习到了很多很多,不敢说精通掌握了多少东西,至少有了一定的基础。

拼尽全力感觉每天都很充实,每天睡觉之前都要在心里盘一盘周几交实验,周几交习题,记得尽快写尽早交。

这给我带来的改变是好的,这种公开卷的方式虽然有些累但是能对自己有个督促作用,防止自己躺平。

老师会把优秀作业发群里让我们一起学习,大佬们写的博客确实详细又认真,所以自己在写博客的时候内心也在督促自己向他们学习。

你一刻不学你就不如别人,一刻拖延你就要熬夜偿还。不拿出来比比真不知道别人有多努力呀,看到别人博客又快又好的时候真的会受到打击,明明都是大一开始学习的,可差距真的越拉越大。

从啥也不懂到现在可以熟练的编辑页面、公式等。因为是对外发表,所以也教会了我要对自己的作品负责,努力做到最好。

csdn上交作业,相比于直接交word,在csdn上发布的内容大家都可以看见,老师也可以直接评论,不会像word一样,交给老师就好像石沉大海了,掀不起一点波澜,没有一个正向的反馈自然就没有动力,大家都想随便写写算了,写到csdn里不仅有老师看,也有同学和其他的人来看你的内容,这些都是监督你的目光,写到csdn里就不仅仅是给老师交的作业了,你要为你发布的博客每一句话负责,我觉得大学是一个很开放,很有创造性的地方,总是交word就好像是中学给老师交作业一样,没有创新,写csdn很新颖,就让我很有动力。

虽然开始对实验和作业都需要在CSDN上发博客提交这一件事很不习惯,但是我觉得在CSDN上发布博客是一个很好的习惯,不仅可以让其他人敦促,而且还可以回头去看以前的实验是怎么写的,当时所参考的一些大佬的文章也很方便去找。每章总结一张思维导图也让我很好的对这一章的内容掌握得更深。

本学期这门课程的学习方式还是很新颖的,是以前没有经历过的形式。但个人还是比较喜欢且接受良好的。利用博客写实验,因为以前没有写过,刚开始并不喜欢,而对这种未知事物的第一感觉就是,本能的觉得这会很麻烦,那时候也并没有体会到好处。但一个学期的实验和作业做下来,深深觉得这种方法很好,很方便,简直就是打开了新世界的大门。因为本学期的实验报告多图多代码,现在想想,要是用word写的话,那调格式肯定能调到崩溃,也调不好看,显得很乱,可能交过作业以后自己重新翻阅的可能性都不大,觉得那么多页看起来太麻烦了。

因为发布的博客能够被网上的所有网友看到,我的实验和作业都写得比以往更加详细,并且在深度学习上也花了更多的时间来进行钻研。通过这种方式,我不再是和之前一样只是为了完成任务而写作业,而是为了丰富自己博客的内容而主动去寻找更多相关的知识并进行学习,这使得我在学习过程中能够获得更加广泛的知识。同时,由于实验过程中查阅了大量相关的知识,在进行理论课的学习之前,有时也能起到很好的预习效果,使得理论课的学习也变得不是特别费劲。

刚学起来会十分的费劲,但是只要有意志下功夫好好的钻研一番,总能有不小的收获,然后获得一种很踏实的感觉,而这种感觉又会激励你在未来的学习中继续钻研下去,如此一个正反馈的调节。随着学习的越来越深入,难度也随之加大,但是面对未来的学习,我已经不再是仅存有十足的恐惧。

2. 表格打分

表格打分,第一次应用于2020春,整学期线上,老师和学生都很懵,都在摸索。

同学们普遍反映“有监督学习”比较好,特别是线上课,自己在家很容易懈怠。公开成绩,能督促自己。就好像小学时候的“小红花”,多得几个,感觉还是蛮好的。

本学期线上课较多,再次启用了一下。

【2019-2020春学期】数据库 教学 期末总结

NNDL 2022秋

● 哪些不太好的地方需要改进?

吐槽时间到了,最让人紧张刺激也最具建设性。

第一大问题:作业太多,做完后没讲解。

第二大问题:实验课自己做实验时间太少。

第三大问题:有时候先做实验,理论课才讲解,实验做的很迷茫。

同学们的点评:客观、真实、准确。必须认真接受、积极整改。

整改计划:

1 作业进一步精选,内容优中取优,减量增质

2 理论课,减少部分不重要内容的讲解,增设习题课

3 实验课,合理安排,留给同学们更多的实验时间

4 调整实验顺序,切实做到先讲解理论后做实验

5 因材施教,不能所有同学同一个强度,作业应该有更多弹性

6 百花齐放,鼓励同学采用不同学习方式,在自己感兴趣的领域投入更多时间

同学们的点评都很委婉,感受到了大家的善意。真心感谢。

部分点评如下:

老师算是我遇到的所有老师里布置作业最多的老师了。

理论课可以比实验课快一两节。

作业中的选做题可以加一些有意思的问题,比如新学到一个算法是某某某创作的,就可以在选做题中加一项了解这个人的生平或者趣事。

实验课安排到了理论课前面,总是先做完实验然后再学习理论,给前期做实验的时候造成很大困难。

实验的内容布置的有点多,有些时候首尾不能相顾,由于实验中某节出现代码“过多”的现象,导致了自己根本没时间读,只是改了代码草草运行粘贴结果了事。

实验课的讲解知识时间稍微有点长,然后在机房实验时间有点少。

深度学习能不能分成深度学习(上)、(下)两门课,或者深度学习课程中机器学习以及前馈神经网络学过的知识可以讲的不那么系统,挑一些讲讲即可,多学一点后面的知识,我觉得后面的知识更新、应用更大和更重要。

感觉作业量(不是实验)稍微有点大,时间有点紧。

讲过的内容可以适当在课堂重现一下,不要直接略过。

尽量不要将梯度下降的算法和模型割裂开。增长课时和相关数学拓展。

上课讲的慢的一点吧,可以延长课时,也就是一口气上三节,把总课时加长吧因为,老师上课讲的很明白,但是由于时间原因好多有的时候都让自己看,但是,有点时候费好大进才能看明白。

做完课后题之后,老师讲一讲或者给给参考答案吧,因为,大家都是自己写,好多时候参考的博客都差不多,所以不知道写的对不对,看同学的也和自己写的差不多,感觉讲讲很有必要,如果实在不行就给个参考答案吧。

神经网络与深度学习这门课程较为艰深复杂,实际上课中也有感觉到授课内容无法完成的情况。所以,建议投入课时与机器学习持平,即一次进行3课时的授课,有利于充分理解和吸收知识,利于课程的教学。

在该课程投入的大量时间与精力,可能只收获了80%的效果,原因在于:大量任务的驱动下,学习的动力会受到一定的影响。

进度有点快,有点跟不上,有些章节是先讲后面知识点再讲前面的,虽然更容易理解融会贯通,但是当时有点反应不过来,如果老师可以提前发一下课件可以预习一下就更好了。

一周完成一个实验和课后作业时间未免有点紧,希望老师可以拓宽一下期限。

作业量有点大,在大三的学生每个星期需要上很多的实验课,也有很多的实验报告需要书写,不可能把全部精力投入到这一门课程中去。

写博客虽然收获很大,但在上面花费的时间自然也就比正常写实验报告要来得多,再加上后面有些其他课程的任务量也上来之后,时间上就显得比较紧迫了,所以到了后期写博客的积极性就远没有刚开始那么高涨,质量上也有所下降,还是没能将刚开始的劲头坚持下去,这是比较可惜的一点,但只要能继续做下去,收获总归是要比之前要大的,就是心态上面需要积极调整。

值得推广的点是自己造*,这样不但能够让我们对内部原理进行掌握,而且还能形成自己的工具集,带来成就感和学习的自信。

建议为在前期实验内容中有大量重复编写的代码部分,觉得应该变为:在这些大的重复部分中,我们逐步改进了的部分代码,这样能够让博客变得精简,同时变更改良更加直观易懂。

3. 自我总结

一个学期挺快就过去了,同学们大多都取得了进步,希望同学们再接再厉。

在写代码得时候是消磨我的兴趣的,但是一旦当代码跑通的那一刹那,兴趣伴随着多巴胺而来,时间大多用在了改代码上面,改代码真是一个令人疼痛的东西。

现在见到书里和论文里的公式没有开学前那么发怵了,能够静下心来去一步步推导。

感觉自己进步挺大的,学到了好多以前听都没有听到的知识。

在以后的学习中需要注意,要学会自律,懂得节制,严格要求自己。

必要的监督,这对于我这种不自律的同学来说是非常有帮助的,每一章的总结性思维导图都是自己独立完成,这也让我对神经网络有了更多更具体的了解。

感觉在深度学习这方面比以前是要好太多了,以前就是啥也不知道,所以我老说的一句话就是感觉付出都是值得的。

推荐博客

本学期作业,参考以下博客内容整理即可,内容都没问题。

从同学们的博客中学习到了很多,期待更多精彩内容。


笼子里的薛定谔的博客_CSDN博客-DL实验,图像修复,图像分类领域博主

别被打脸的博客_CSDN博客-领域博主

刘先生TT的博客_CSDN博客-最优化方法领域博主

不是蒋承翰的博客_CSDN博客-领域博主

小鬼缠身、的博客_CSDN博客-领域博主


AI-2 刘子豪的博客_CSDN博客-领域博主

乳酸蔓越莓吐司的博客_CSDN博客-领域博主

三工修的博客_CSDN博客-[DL]神经网络与深度学习,[??]各种语言入门,[C++]数据结构领域博主

Jacobson Cui的博客_CSDN博客-神经网络与深度学习,《神经网络与深度学习》课后习题领域博主

HBU_fangerfang的博客_CSDN博客-神经网络与深度学习领域博主


真不想再学了的博客_CSDN博客-领域博主

牛奶园雪梨的博客_CSDN博客-领域博主

白小码i的博客_CSDN博客-深度学习领域博主

plum-blossom的博客_CSDN博客-NNDL实验,Tensorflow,Pytorch领域博主

weixin_51715088的博客_CSDN博客-领域博主


.星.的博客_CSDN博客-领域博主

辰 希的博客_CSDN博客-领域博主

Perfect(*^ω^*)的博客_CSDN博客-领域博主

叶雨柳光的博客_CSDN博客-领域博主

萐茀37的博客_CSDN博客-领域博主


Persevere~~~的博客_CSDN博客-领域博主

红肚兜的博客_CSDN博客-领域博主

岳轩子的博客_CSDN博客-python,深度学习,深度学习习题领域博主

沐一mu的博客_CSDN博客-领域博主

ZodiAc7的博客_CSDN博客-领域博主