11 2014 档案
摘要:HInton第9课,这节课没有放论文进去。。。。。如有不对之处还望指正。话说hinton的课果然信息量够大。推荐认真看PRML《Pattern Recognition andMachine Learning》。摘自PRML中22页。正文:一、提高泛化方法的概述 在这部分中,将会介绍通过减少(当...
阅读全文
摘要:今天码了个代码,但是发现有些奇葩的地方int f(int const &s){ const_cast(s) = 3; cout (w); ww++; cout << "\n w's address:" << p << " w's value:" << w; f(w); cout << "\n w'...
阅读全文
摘要:HInton第8课,之所以说之二三,是因为训练RNN的四种方法之一:长短时记忆在lecture7中介绍过了,这里介绍的是第二和第三种方法:HF优化和Echo (这个字觉得翻译成回声是不是欠妥,所以保留着,不过个人觉得“回显”不错)状态网络。这课有两个论文作为背景可以看《Generating Text...
阅读全文
摘要:Hinton 第七课 。这里先说下RNN有recurrent neural network 和recursiveneural network两种,是不一样的,前者指的是一种人工神经网络,后者指的是一种深度神经网络这里指的是前者,这部分翻译的不好,因为之前没怎么接触过RNN,不过就当理解意境吧,所以附...
阅读全文
摘要:Hinton的第6课,这一课中最后的那个rmsprop,关于它的资料,相对较少,差不多除了Hinton提出,没论文的样子,各位大大可以在这上面研究研究啊。一、mini-批量梯度下降概述 这部分将介绍使用随机梯度下降学习来训练NN,着重介绍mini-批量版本,而这个也是现今用的最广泛的关于训练大...
阅读全文
摘要:这是Jake Bouvrie在2006年写的关于CNN的训练原理,虽然文献老了点,不过对理解经典CNN的训练过程还是很有帮助的。该作者是剑桥的研究认知科学的。翻译如有不对之处,还望告知,我好及时改正,谢谢指正! Notes on Convolutional Neural Networks Jake
阅读全文
摘要:Hinton第五课突然不知道object recognition 该翻译成对象识别好,还是目标识别好,还是物体识别好,但是鉴于范围性,还是翻译成对象识别吧。这一课附带了两个论文《Convolutional Networks for Images,Speech,and Time-series》在前面翻...
阅读全文
摘要:Convolutional Networks for Images,Speech,and Time-seriesYann LeCun Yoshua Bengio1995年的1引言 多层BP网络可以从大数据样本中学习复杂的,高维的,非线性的映射并用于图像识别和语音识别任务(见pattern reco...
阅读全文
摘要:Hinton第四课这一课主要介绍神经网络在语言处理上应用,而主要是在文本上,并附上了2003年Bengio 等人的19页的论文《A Neural Probabilistic Language Model》,觉得不错,打算看看翻译了之后在传上来,虽然不是做这方面的,但是多懂些其他领域的东西也好。一、学...
阅读全文
摘要:Hinton第三课这节课主要是介绍NN的输出端常用的神经元,然后重点是说明怎么使用BP来计算偏导数,在Hinton这一课中,他提供了他1986年参与写的《并行分布处理》一书的第8章,49页,这本书的编者是当你的认知神经界的Rumelhart, D. E和McClelland, J. L,想想估计那时...
阅读全文