深度学习Bible学习笔记:第一章 前言

时间:2022-03-27 00:01:32

写在前面:请务必踏踏实实看书,结合笔记或视频来理解学习,任何技术,啃砖头是最扎实最系统的,为避免知识碎片化,切忌抛却书本的学习!!!

一 什么是深度学习

1 关于AI:

AI系统必须具备从原始数据提取模式的能力——机器学习;

算法性能依赖于数据表示(表示学习);

传统机器学习:人工提取特征

深度学习:源于并高于传统神经网络,通过深度结构,从简单概念构建复杂概念,自动发现提取分布式特征,完成模型学习(个人定义,非权威)2006,hinton首次提出。

2 特点:

自动提取特征;

层级抽象。

二 跟机器学习什么关系

DL源于ML,但是高于ML;

DL是AI的一大分支;

DL是深层神经网络,一般4-5层以上;

DL是表示学习中的一种。

三 DFN概要

DFN:深度前馈网络,或前馈神经网络(FFN)/多层感知机(MLP);

目标:近似模拟某个函数f y=f(x,θ)

学习参数θ的值,得到最佳函数近似

注:并非完美模拟大脑,知识实现统计泛化,函数近似机。源于大脑,远远比不上大脑。

结构:

前馈(feedforward):信息一直往下流动,一路向前,不回头!例如:CNN

反馈(feedbackward):前馈的扩展,增加反馈连接,走一步,回下头,继续走。例如:RNN