随笔分类 -  hinton教授的本科生课程CSC321-机器学习中的神经网

lecture16-联合模型、分层坐标系、超参数优化及本课未来的探讨
摘要：这是HInton的第16课，也是最后一课。一、学习一个图像和标题的联合模型在这部分，会介绍一些最近的在学习标题和描述图片的特征向量的联合模型上面的工作。在之前的lecture中，介绍了如何从图像中提取语义有意义的特征。不过那是在没有从标题中得到帮助的情况下做的。显然在标题中的单词应该有助于从图片中提... 阅读全文
posted @ 2015-03-11 16:18 仙守 阅读(635) 评论(0) 推荐(0) 编辑
lecture15-自动编码器、语义哈希、图像检索
摘要：Hinton第15课，本节有课外读物《Semantic Hashing》和《Using Very Deep Autoencoders for Content-Based Image Retrieval》这两篇论文一、从PCA到AE这部分中，首先介绍下PCA，这个方法被广泛的应用在信号处理上。PCA的... 阅读全文
posted @ 2015-03-11 15:05 仙守 阅读(1424) 评论(0) 推荐(0) 编辑
lecture14-RBM的堆叠、修改以及DBN的决策学习和微调
摘要：这是Hinton的第14课，主要介绍了RBM和DBN的东西，这一课的课外读物有三篇论文《Self-taught learning- transfer learning from unlabeled data》和《A Fast Learning Algorithm for Deep Belief Ne... 阅读全文
posted @ 2015-03-09 14:56 仙守 阅读(1899) 评论(0) 推荐(0) 编辑
lecture13-BP算法的讨论和置信网
摘要：这是HInton课程第13课，这一课有两篇论文可以作为课外读物《Connectionist learning of belief networks》和《The wake-sleep algorithm for unsupervisedneural networks》，（下文中采样和样本是同一个单词，... 阅读全文
posted @ 2015-03-08 13:35 仙守 阅读(1019) 评论(0) 推荐(0) 编辑
lecture12-玻尔兹曼机和受限玻尔兹曼机
摘要：这是Hinton的第12课，结合前一课可以知道RBM是来自BM，而BM是来自Hopfield的，因为水平有限，是直译的，虽然有时候会看不懂，但是好歹不会曲解原来的本意，看的话：1、先看ppt；2、通读下面对应的段落；3、不要纠结某句话不通顺，这是个人翻译水平问题，但是可以看出通读整段话，也能够大致知... 阅读全文
posted @ 2015-01-13 17:14 仙守 阅读(2555) 评论(0) 推荐(0) 编辑
lecture11-hopfiled网络与玻尔兹曼机
摘要：Hinton课程第11课 这部分的课程算是个知识背景，讲述RBM的来源吧，毕竟是按照hopfield--BM-RBM的路线过来的。因为水平有限，都是直译，如果纠结某句话，肯定看不懂，所以这些课程只需要1、看ppt内容；2、通读下面的说明；3、自己进行理解即可。直译导致的就是感觉词不达意，而且对于水平... 阅读全文
posted @ 2014-12-22 14:27 仙守 阅读(1717) 评论(1) 推荐(1) 编辑
lecture10-模型的结合与全贝叶斯学习
摘要：这是Hinton的第10课这节课有两篇论文可以作为背景或者课外读物《Adaptive mixtures of local experts》和《Improving neural networks by preventing co-adaptation of feature detectors》。一、为... 阅读全文
posted @ 2014-12-14 22:22 仙守 阅读(823) 评论(0) 推荐(0) 编辑
lecture9-提高模型泛化能力的方法
摘要：HInton第9课，这节课没有放论文进去。。。。。如有不对之处还望指正。话说hinton的课果然信息量够大。推荐认真看PRML《Pattern Recognition andMachine Learning》。摘自PRML中22页。正文：一、提高泛化方法的概述 在这部分中，将会介绍通过减少（当... 阅读全文
posted @ 2014-11-28 14:42 仙守 阅读(8517) 评论(0) 推荐(1) 编辑
lecture8-RNN的训练方法之二三
摘要：HInton第8课，之所以说之二三，是因为训练RNN的四种方法之一：长短时记忆在lecture7中介绍过了，这里介绍的是第二和第三种方法：HF优化和Echo （这个字觉得翻译成回声是不是欠妥，所以保留着，不过个人觉得“回显”不错）状态网络。这课有两个论文作为背景可以看《Generating Text... 阅读全文
posted @ 2014-11-19 22:24 仙守 阅读(3716) 评论(1) 推荐(0) 编辑
lecture7-序列模型及递归神经网络RNN
摘要：Hinton 第七课 。这里先说下RNN有recurrent neural network 和recursiveneural network两种，是不一样的，前者指的是一种人工神经网络，后者指的是一种深度神经网络这里指的是前者，这部分翻译的不好，因为之前没怎么接触过RNN，不过就当理解意境吧，所以附... 阅读全文
posted @ 2014-11-15 16:48 仙守 阅读(2530) 评论(0) 推荐(0) 编辑
lecture6-mini批量梯度训练及三个加速的方法
摘要：Hinton的第6课，这一课中最后的那个rmsprop，关于它的资料，相对较少，差不多除了Hinton提出，没论文的样子，各位大大可以在这上面研究研究啊。一、mini-批量梯度下降概述 这部分将介绍使用随机梯度下降学习来训练NN，着重介绍mini-批量版本，而这个也是现今用的最广泛的关于训练大... 阅读全文
posted @ 2014-11-12 10:46 仙守 阅读(1652) 评论(1) 推荐(0) 编辑
lecture5-对象识别与卷积神经网络
摘要：Hinton第五课突然不知道object recognition 该翻译成对象识别好，还是目标识别好，还是物体识别好，但是鉴于范围性，还是翻译成对象识别吧。这一课附带了两个论文《Convolutional Networks for Images,Speech,and Time-series》在前面翻... 阅读全文
posted @ 2014-11-06 16:46 仙守 阅读(1121) 评论(0) 推荐(0) 编辑
Convolutional Networks for Images,Speech,and Time-series
摘要：Convolutional Networks for Images,Speech,and Time-seriesYann LeCun Yoshua Bengio1995年的1引言 多层BP网络可以从大数据样本中学习复杂的，高维的，非线性的映射并用于图像识别和语音识别任务（见pattern reco... 阅读全文
posted @ 2014-11-05 21:14 仙守 阅读(1306) 评论(0) 推荐(0) 编辑
lecture4-神经网络在语言上的应用
摘要：Hinton第四课这一课主要介绍神经网络在语言处理上应用，而主要是在文本上，并附上了2003年Bengio 等人的19页的论文《A Neural Probabilistic Language Model》，觉得不错，打算看看翻译了之后在传上来，虽然不是做这方面的，但是多懂些其他领域的东西也好。一、学... 阅读全文
posted @ 2014-11-04 22:24 仙守 阅读(801) 评论(0) 推荐(0) 编辑
lecture3-线性神经元和算法
摘要：Hinton第三课这节课主要是介绍NN的输出端常用的神经元，然后重点是说明怎么使用BP来计算偏导数，在Hinton这一课中，他提供了他1986年参与写的《并行分布处理》一书的第8章，49页，这本书的编者是当你的认知神经界的Rumelhart, D. E和McClelland, J. L，想想估计那时... 阅读全文
posted @ 2014-11-03 09:20 仙守 阅读(1346) 评论(1) 推荐(0) 编辑
lecture2-NN结构的主要类型的概述和感知机
摘要：Hinton课程第二课一、NN结构的主要类型的概述 这里的结构就是连接在一起的神经元。目前来说，在实际应用中最常见的NN就是前向NN，他是将数据传递给输入单元，通过隐藏层最后到输出层的单元；一个更有趣的结构是递归神经网络RNN，这种网络能够将信息保存很久，所以能够表现各种有趣的震荡，但是却也难... 阅读全文
posted @ 2014-10-27 12:59 仙守 阅读(1718) 评论(0) 推荐(0) 编辑
lecture1-NN的简介
摘要：这是DL的发明人Hinton在多伦多大学的2013年冬季教授de课程，并将视频分享到coursera网站上。其中不但有视频，也有课件，但是Hinton主页上还有他上课的课后问题，Hinton告诉学生这些视频作为课前看看，课中在讨论和上课，其实这种方法很好。可惜估计一辈子也看不到大牛了，只能沾沾他... 阅读全文
posted @ 2014-10-25 15:18 仙守 阅读(3505) 评论(1) 推荐(2) 编辑