hyperddr

摘要： 经过多次实验，慢慢觉得随机激活一个备用神经元，去和输入匹配学习的方法，基本上是不行的。大量的神经元之间，随意建立起来的链接，往往使他们总是同时激活，于是链接不断被加强。如果放弃整个网络间的学习，那就退化成了herb学习法则了。思索中慢慢意识到，之前我认为脑应该是简单的，被动的，这种想法可能是错的。大脑可能也有总线结构，也会有意识地去调控一些东西。比如把两个可能相关的事物联系在一起，同时激活它们对应的神经元，试图让他们自己匹配起来。而不是像之前想象的那样，任意两个神经元都可以自己匹配。还需要大脑的中枢调控单位给予刺激才能建立起链接和调整链接强度。这些应该就是化学触突的作用，让一些神经元兴奋起来， 阅读全文

摘要： 把bp算法改写成了CUDA代码，用卡内基梅隆大学的人脸识别图片套尝试了一下人脸识别，对比cpu的速度其实是下降了一倍左右。原因是这个图像处理只需要用到3个隐藏神经元，缺需要12000个输入神经元。数据copy和运算量的对比才刚达到1比3，根本没用上cuda的优势。把隐藏神经元数量增加到30个之后，优势就非常明显地体现出来了。cpu算法消耗的时间成倍上涨，而cuda基本不怎么涨。但是也是存在问题的，当隐藏神经元数量进一步上涨之后，cpu算法也就是更慢而已，但是cuda则直接驱动程序失去响应导致程序退出屏幕黑屏了，鲁棒性非常差。总体来说cuda在神经网络算法上较难体现巨大优势，下次还是用openm 阅读全文