【深度学习】深度学习md笔记总结第：神经网络与tf.keras,学习目标【附代码文档】
深度学习笔记完整教程（附代码资料）主要内容讲述：深度学习课程，深度学习介绍要求,目标,学习目标,1.1.1 区别,学习目标,学习目标。TensorFlow介绍，2.4 张量学习目标,2.4.1 张量(Tensor),2.4.2 创建张量的指令,2.4.3 张量的变换,2.4.4 张量的数学运算,学...
《精通Matlab神经网络》例10-16的新写法
《精通Matlab神经网络》书中示例10-16，在创建BP网络时，原来的写法是：net = newff(minmax(alphabet),[S1 S2],{'logsig' 'logsig'},'traingdx');因为运行过程中有提示，自然想改成新写法（参考之前的随笔《MATLAB神经网络函数N...
人工神经网络
人工神经网络初窥 人工神经网络（Artificial Neural Network，简称ANN ），以数学模型模拟神经元活动，是基于模仿大脑神经网络结构和功能而建立的一种信息处理系统。人工神经网络具有...
Sebastian Ruder : NLP 领域知名博主博士论文面向自然语言处理的神经网络迁移学习
Sebastian Ruder 博士的答辩 PPT《Neural Transfer Learning for Natural Language Processing》介绍了面向自然语言的迁移学习的动机、研究现状、缺陷以及自己的工作。Sebastian Ruder 博士在 PPT 中阐述了使用迁移学习...
【转载】BP神经网络
原文地址：http://blog.csdn.net/acdreamers/article/details/44657439今天来讲BP神经网络，神经网络在机器学习中应用比较广泛，比如函数逼近，模式识别，分类，数据压缩，数据挖掘等领域。接下来介绍BP神经网络的原理及实现。Contents 1. BP...
一维卷积神经网络的特征可视化-建立模型并进行训练
# basic modelmodel = Sequential([ Input(shape=[X_train.shape[1], 1]), Conv1D(filters=16, kernel_size=3, activation="relu"), BatchNormalizati...
故障诊断 | 一文解决，GCN图卷积神经网络模型的故障诊断（Matlab）-模型描述
GCN（Graph Convolutional Network）是一种基于图结构数据进行卷积操作的神经网络模型。它在处理图数据上展现了很好的性能，特别适用于节点分类、图分类和图生成等任务。 GCN模型的核心思想是将图结构数据转化为矩阵表示，然后通过矩阵的卷积操作来对节点进行特征表示和学习。下面是G...
深度信念神经网络DBN最通俗易懂的教程
前几天我把受限玻尔兹曼机给讲完了，这次我接着讲一下它的进阶理论，还是那句话，全是白话文，你们肯定能听懂深度信念网络，它的英文名叫作Deep Belief Network，先解释一下这个名词：Deep意思是深度，大家应该有听过深度学习吧，深度学习是一个叫做Hinton的大学霸发明的，这个大学霸，大神很...
入门通俗易懂的神经网络语言模型(NNLM)详解
文章目录神经网络语言模型(NNLM)输入层（投射层）隐藏层输出层计算复杂度神经网络语言模型(NNLM)输入层（投射层）一个文本，由N个词语组成，现在呢：想根据 前N个词语 来预测 第N个词语 是啥？我们采用的语料库V(也就是我们最大限度能想到的的所有词语集合)包含10万个词语词向量W：是一个one-...
神经网络（二）——深入理解反向传播的四个基本方程
由于神经网络覆盖的内容比较多,一时提笔不知从何开始说起,刚好看到这一章以公式为主,因此先入手这一章。本章参考书籍《神经网络与深度学习》以及三蓝一棕的B站视频。1.预备知识我们先来看一张图，了解一下我们的符号定义： 我们首先给出网络中权重的定义：wljkwjkl表示从第l−1l−1层的的kk个神经元...
调试神经网络的注意事项和技巧总结（一）
最近在调试神经网络的过程中，遇到了网络不收敛的情况，查阅了很多的相关的资料，根据相关的建议，作出了一些实验，来进行调试，下面这几点是我遇到的几个坑： 1.数据预处理 2. 数据规范化 3.正则化 4.batch size 5.使用了不适当的学习率 6.在最后一层使用了错误的**函数 7.网络含有不良...
基于双向长短期神经网络LSTM的负荷预测，gru神经网络的负荷预测-训练方法
为了最小化训练误差，梯度下降法（Gradient descent）如：应用时序性倒传递算法，可用来依据错误修改每次的权重。梯度下降法在递回神经网络（RNN）中主要的问题初次在1991年发现，就是误差梯度随着事件间的时间长度成指数般的消失。当设置了LSTM 区块时，误差也随着倒回计算，从output...
Tensorflow一个很简单的神经网络求解常微分及偏微分方程
最近才入门深度学习不久，在看了arxiv.org上1902这篇文章使用神经网络在不需要已知解析解情况下就能求解常微分方程及偏微分方程的数值解，精度也很不错，自己也尝试了下，最终成功复现论文作者的结果，将代码展示一下，供需要的同学使用，才疏学浅，其中可能存在的谬误还请及时评论。论文作者采用了一个很简单...
速读-A3基于注意力机制的神经网络处理器
论文：Ham, Tae Jun, et al. “A^ 3: Accelerating Attention Mechanisms in Neural Networks with Approximation.” 2020 IEEE International Symposium on High Per...
论文解读——神经网络翻译中的注意力机制 以及 global / local attention
论文 Effective Approaches to Attention-based Neural Machine Translation这篇论文主要介绍了神经网络翻译中的attention机制的集中改进方式，包括global / local attention以及 input-feeding机制，...
B站吴恩达深度学习视频笔记（28）——深度神经网络说明以及向前传播向后传播实现
深层神经网络（Deep L-layer neural network）目前为止我们已经学习了只有一个单独隐藏层的神经网络的正向传播和反向传播，还有逻辑回归，并且你还学到了向量化，这在随机初始化权重时是很重要。目前所要做的是把这些理念集合起来，就可以执行你自己的深度神经网络。复习下前面21个笔记的内容...
论文解读（二）：卷积神经网络真的有平移不变性吗
在我们读计算机视觉的相关论文时，经常会看到平移不变性这个词，通常观点中，大家都是普遍认为CNN是具有平移不变性的，然而近年来，有一些工作的研究对平移不变性提出了质疑，本文对一些平移不变性的理解进行记录，对于持有平移不变性的观点，和持有平移变化的观点，对该两类观点进行简单的记录，不提出相关的解决方法。...
大数据深度学习：基于Tensorflow深度学习的神经网络CNN算法垃圾分类识别系统
文章目录 大数据深度学习：基于Tensorflow深度学习的神经网络CNN算法垃圾分类识别系统一、项目概述二、深度学习卷积神经网络（Convolutional Neural Networks，简称CNN）三、部分数据库架构四、系统实现系统模型部分核心代码模型训练效果图训练模型效果展示模型训练...
轻量化卷积神经网络：SqueezeNet、MobileNet、ShuffleNet、Xception
一 引言二 轻量化模型2.1 SqueezeNet2.2 MobileNet2.3 ShuffleNet2.4 Xception三 网络对比 一 引言自2012年AlexNet以来，卷积神经网络（简称CNN）在图像分类、图像分割、目标检测等领域获得广泛应用。随着性能的要求越来越高，AlexNet已经...
轻量化卷积神经网络（SqueezeNet，MobileNet，ShuffleNet，Xception）
目录摘要SqueezeNet (AlexNet-level accuracy with 50x fewer parameters and < 0.5MB model size)MobileNetShuffleNetXception总结摘要在最近阅读的一些论文中常常出现MobileNet，Xce...