宽度学习系统(Broad Learning System, BLS)
作者：凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/
更新：对于ELM，只做科普，别做学术。
宽度学习系统(Broad Learning System, BLS)由Chen等[1]提出，其基于“平展型”神经网络，因其高效性、结构灵活、且可以实现结构增量式学习等优势，引起了广泛的研究兴趣。该博客主要讲解BLS的大致原理与推导过程。
主要包括：
- 基础知识：奇异值分解（SVD），激活函数，普通方阵求逆(H可逆)，求伪逆，岭回归与伪逆的近似，稀疏自编码器（Sparse Auto Encoder），以及Greville定理，其中Greville定理用于增量学习，分块矩阵求伪逆，详细推导请参考[3][4]与博客第四部分。
- 宽度学习系统(Broad Learning System, BLS)：宽度学习系统的增量学习总体框架、增加额外的增强节点、增加额外的特征映射节点、增加额外的输入数据。
- 宽度学习系统(BLS)与极限学习机(ELM)的区别与联系。
1. 基础知识
2. 宽度学习系统(Broad Learning System, BLS)
3. 宽度学习系统(BLS)与极限学习机(ELM)、随机向量函数链网络(Random Vector Functional-Link Network, RVFLNN)的区别与联系
4. 关于Greville方法的参考
计算A的伪逆的Greville方法是一种有限迭代法，它在已知矩阵的前k列所构成子矩阵的广义逆矩阵基础上，来构造前k+1列所构成子矩阵的广义逆矩阵。因此，若矩阵A有n列，则经过n步就可得到A的伪逆。本节参考[3]。
5. 参考文献
[1] C. L. P. Chen and Z. Liu, "Broad Learning System: An Effective and Efficient Incremental Learning System Without the Need for Deep Architecture," in IEEE Transactions on Neural Networks and Learning Systems, vol. 29, no. 1, pp. 10-24, Jan. 2018, doi: 10.1109/TNNLS.2017.2716952.
[2] Broad Learning System https://broadlearning.ai/
[3] 程云鹏, 张凯院, 徐仲. 高等学校教材 矩阵论[M]. 西北工业大学出版社, 1989.
[4] 王松桂. 广义逆矩阵及其应用[M]. 北京工业大学出版社, 1996.
[5] Extreme Learning Machine - 凯鲁嘎吉 - 博客园
[6] 字典更新与K-SVD 之矩阵的奇异值分解(SVD) - 凯鲁嘎吉 - 博客园
[7] 澳门大学陈俊龙 | 宽度学习系统：一种不需要深度结构的高效增量学习系统 - 云基智能机器人实验室
[8] 图Lasso求逆协方差矩阵(Graphical Lasso for inverse covariance matrix) 之近端梯度下降(Proximal Gradient Descent, PGD) - 凯鲁嘎吉 - 博客园
[9] 最新综述：X. Gong, T. Zhang, C. L. P. Chen and Z. Liu, "Research Review for Broad Learning System: Algorithms, Theory, and Applications," in IEEE Transactions on Cybernetics, vol. 52, no. 9, pp. 8922-8950, Sept. 2022, doi: 10.1109/TCYB.2021.3061094.
