极限学习机Extreme Learning Machines (ELM)

一、ELM的基本原理

极限学习机(ELM)是一种针对单隐含层前馈神经网络(SinglehiddenLayerFeedforwardNeuralNetwork,SLFN)的神经网络的算法。传统的SLFN是一个由输入层、隐含层和输出层组成的全连接网络。设输入层有n个神经元，对应n个输入变量，隐藏层有l个神经元，输出层具有m个神经元，对应于m个输出变量。SLFN的相应输出可以表示为：
$O = \sum_{j=1}^n \beta_jg(w_jx_i+b_j)$O=j=1∑n​βj​g(wj​xi​+bj​)
其中，
$\beta= \begin{bmatrix} \beta_{11} & \beta_{12} & \cdots & \beta_{1n} \\ \beta_{21} & \beta_{22} & \cdots & \beta_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ \beta_{l1} & \beta_{l2} & \cdots\ & \beta_{ln} \\ \end{bmatrix}， w= \begin{bmatrix} w_{11} & w_{12} & \cdots & w_{1m} \\ w_{21} & w_{22} & \cdots & w_{2m} \\ \vdots & \vdots & \ddots & \vdots \\ w_{l1} & w_{l2} & \cdots\ & w_{lm} \\ \end{bmatrix}, b= \begin{bmatrix} b_{1} \\ b_{2} \\ \vdots \\ b_{l} \\ \end{bmatrix}$β=⎣⎢⎢⎢⎡​β11​β21​⋮βl1​​β12​β22​⋮βl2​​⋯⋯⋱⋯ ​β1n​β2n​⋮βln​​⎦⎥⎥⎥⎤​，w=⎣⎢⎢⎢⎡​w11​w21​⋮wl1​​w12​w22​⋮wl2​​⋯⋯⋱⋯ ​w1m​w2m​⋮wlm​​⎦⎥⎥⎥⎤​,b=⎣⎢⎢⎢⎡​b1​b2​⋮bl​​⎦⎥⎥⎥⎤​

二、ELM的特点

2.1显著特点

1）输入层和隐含层的连接权值、隐含层的阈值可以随机设定，且设定完后不用再调整；
2）隐含层和输出层之间的连接权值β不需要迭代调整，而是通过解方程组方式一次性确定。
本质上，ELM是先将输入数据映射到随机空间，然后最小二乘线性回归。

2.2优缺点

优点：

1. 学习速度快

2. 泛化能力强
   
   缺点：

3. 结果不稳定

4. 表示非线性能力差

三、ELM的应用

3.1分类问题

交通路牌识别、故障诊断

3.2回归问题

电价预测 、软测量