摘要：
要解决复杂的模式识别问题，往往需要构建大规模的神经网络。随着节点数量的增加，模型的训练速度将变得缓慢，而内存的开销也会以n^2的速度增长。这样，采用单机训练RBM变得不切合实际。而鉴于RBM训练更新需要在整个网络的范围内进行权值更新（不考虑针对Sparse情况的优化），设计分布式程序需要解决的主要问题之一就是如何处理网络间的“更新传递”以及如何解决分布式中可能出现的单个节点故障问题。下面这个总结是根据Andrew Ng教授在Google所领导的Google Brain项目采用的相关技术，讨论如何有效的解决上述两个问题。 阅读全文
摘要：
RBM是构建deep learning 的基础，之前研究了一段时间，把相关的理论进行了下系统的梳理，并进行了总结。理论总结以pdf上传到了这里： http://files.cnblogs.com/HarryJiang/rbm.pdf相关的单机版python实现代码：https://github.com/nebuladream/sparse_class_rbm/tree/master/ClassRBMPy 阅读全文