简单易学的机器学习算法——极限学习机（ELM）

极限学习机的概念

ELM是一种新型的快速学习算法，对于单隐层神经网络，ELM可以随机初始化输入权重和偏置并得到相应的输出权重。

对于一个单隐层神经网络，假设有N个任意的样本 $\left ( X_i,t_i \right )$ ，其中 $X_i=\left [ x_{i1},x_{i2},\cdots,x_{in} \right ]^T\in R^n$ ， $t_i=\left [ t_{i1},t_{i2},\cdots,t_{im} \right ]^T\in R^m$

。对于一个有 $L$ 个隐层节点的单隐层神经网络可以表示为

其中， $g\left ( x \right )$ 为激活函数， $W_i=\left [ w_{i,1},w_{i,2},\cdots,w_{i,n} \right ]^T$ 为输入权重， $\beta _i$ 为输出权重， $b _i$ 是第 $i$ 个隐层单元的偏置。

单隐层神经网络的学习目标是使得输出的误差最小，可以表示为

$\sum_{j=1}^{N}\left \| o_j-t_j \right \|=0$

即存在 $\beta _i$ ， $W _i$ 和 $b _i$ ，使得

可以矩阵表述为
$H\beta =T$ 。

其中， $H$ 是隐层节点的输出， $\beta$ 为输出权重， $T$ 为期望输出。

$\beta =\begin{bmatrix} \beta^{T} _1\\ \vdots \\ \beta^{T} _L \end{bmatrix}_{L\times m}$ ， $T =\begin{bmatrix} T^{T} _1\\ \vdots \\ T^{T} _N \end{bmatrix}_{N\times m}$

posted @ 2017-05-29 22:53 dreamafar 阅读(1622) 评论(0) 编辑收藏举报

刷新页面返回顶部