ELM极限学习机

时间:2023-12-09 15:20:01

  

极限学习机(Extreme Learning Machine) ELM,是由黄广斌提出来的求解神经网络算法。ELM最大的特点是对于传统的神经网络,尤其是单隐层前馈神经网络(SLFNs),ELM比传统的学习算法速度更快。

ELM是一种新型的快速学习算法,对于单隐层神经网络,ELM 可以随机初始化输入权重和偏置并得到相应的输
出权重。对于一个单隐层神经网络,假设有ELM极限学习机个任意的样本ELM极限学习机,其中ELM极限学习机ELM极限学习机。对于一个有ELM极限学习机个隐层节点的单隐层神经网络可以表示为

ELM极限学习机

其中,ELM极限学习机为激活函数,ELM极限学习机为输入权重,ELM极限学习机为输出权重,ELM极限学习机是第ELM极限学习机个隐层单元的偏置。ELM极限学习机表示ELM极限学习机ELM极限学习机的内积。

单隐层神经网络学习的目标是使得输出的误差最小,可以表示为

ELM极限学习机

即存在ELM极限学习机ELM极限学习机ELM极限学习机,使得

ELM极限学习机

可以表示为

ELM极限学习机

其中ELM极限学习机是隐层节点的输出,ELM极限学习机为输出权重,ELM极限学习机为期望输出。

ELM极限学习机

为了能够训练单隐层神经网络,我们希望得到ELM极限学习机ELM极限学习机使得

ELM极限学习机

其中ELM极限学习机,这等价于最小化损失函数

ELM极限学习机

传统的一些基于梯度下降法的算法,如BP学习算法及其变种,可以用来求解这样的问题,但是基本的基于梯度的学习算法需要在迭代的过程中调整所有参数。而在ELM算法中, 一旦输入权重ELM极限学习机和隐层的偏置ELM极限学习机被随机确定,隐层的输出矩阵ELM极限学习机就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统ELM极限学习机。并且输出权重ELM极限学习机可以被确定

ELM极限学习机

其中,ELM极限学习机是矩阵ELM极限学习机的Moore-Penrose广义逆。且可证明求得的解ELM极限学习机的范数是最小的并且唯一。

极限学习机的代码下载:点击打开链接