koocn

导航

10 2017 档案

小象增强学习课件DQN网络和Q-learning
摘要：策略学习：学习action 价值学习：最大的回报 阅读全文

posted @ 2017-10-31 19:34 koocn 阅读(233) 评论(0) 推荐(0)

11月深度学习班第5课风格变化NeuralStyle
摘要：重点是损失函数的改进 这个损失函数是用来衡量两张图片的相似度、 损失函数：损失函数（content）+损失函数（style） 损失函数（content）：卷积网络的每一层的卷积矩阵的差值逐点做差求和 损失函数（style）： 卷积网络的每一层的对应点的做乘积求和 注意：x:合成图片每一层的卷积 F 阅读全文

posted @ 2017-10-31 17:03 koocn 阅读(140) 评论(0) 推荐(0)

11月深度学习班第5课图像物体检测：rcnn/fast-rcnn/faster-rcnn
摘要：部分代码与训练数据 R-CNN(Cafffe + MATLAB): https://github.com/rbgirshick/rcnn (非常慢，看看就好)Fast R-CNN(Caffe + MATLAB): https://github.com/rbgirshick/fast-rcnn (非端 阅读全文

posted @ 2017-10-31 16:54 koocn 阅读(239) 评论(0) 推荐(0)

11月深度学习班第4课TensorFlow
摘要： 阅读全文

posted @ 2017-10-31 10:36 koocn 阅读(114) 评论(0) 推荐(0)

11月深度学习班第4课深度学习框架与应用:Caffe/Torch/TensorFlow/MxNet
摘要：Caffe vs Torch vs TensorFlow vs MxNet 阅读全文

posted @ 2017-10-31 10:25 koocn 阅读(277) 评论(0) 推荐(0)

11月深度学习班第3课CNN激励层(ReLU)
摘要： 阅读全文

posted @ 2017-10-31 09:54 koocn 阅读(327) 评论(0) 推荐(0)

11月深度学习班第3课CNN动态演示图
摘要：完整CNN演示图：http://cs231n.github.io/assets/conv-demo/index.html 阅读全文

posted @ 2017-10-31 09:49 koocn 阅读(311) 评论(0) 推荐(0)

11月深度学习班第3课典型CNN网络结构:VGG/GooleNet/ResNet
摘要： 阅读全文

posted @ 2017-10-31 09:47 koocn 阅读(397) 评论(0) 推荐(0)

11月深度学习班第8课LSTM
摘要： 阅读全文

posted @ 2017-10-31 09:19 koocn 阅读(124) 评论(0) 推荐(0)

11月深度学习班第8课翻译系统
摘要： 阅读全文

posted @ 2017-10-31 09:10 koocn 阅读(122) 评论(0) 推荐(0)

11月深度学习班第8课循环神经网络应用
摘要： 阅读全文

posted @ 2017-10-31 08:59 koocn 阅读(172) 评论(0) 推荐(0)

11月深度学习班第7课循环神经网络与长短时记忆及应用
摘要： 阅读全文

posted @ 2017-10-30 21:59 koocn 阅读(190) 评论(0) 推荐(0)

11月深度学习班第9课强化学习与DQN
摘要：强化学习与DQN 强化学习成就  Learned the world’s best player of Backgammon (Tesauro 1995) Learned acrobatic helicopter autopilots (Ng, Abbeel, Coates et al2006+ 阅读全文

posted @ 2017-10-30 21:48 koocn 阅读(242) 评论(0) 推荐(0)

5月深度学习班第10课 更多框架
摘要： 阅读全文

posted @ 2017-10-30 17:11 koocn 阅读(108) 评论(0) 推荐(0)

5月深度学习班第9课 更多的网络类型
摘要： 阅读全文

posted @ 2017-10-30 17:06 koocn 阅读(90) 评论(0) 推荐(0)

5月深度学习班第8课rnn_appliacation
摘要：RNN 应用 阅读全文

posted @ 2017-10-30 16:52 koocn 阅读(169) 评论(0) 推荐(0)

5月深度学习班第7课rnn_intrduction
摘要：RNN 阅读全文

posted @ 2017-10-30 16:42 koocn 阅读(168) 评论(0) 推荐(0)

5月班第6次课CNN扩展 图像识别与定位 物体检测 NeuralStyle
摘要：CNN推展案例:图像检测、NeuralStyle  图像识别与定位 思路1：视作回归 思路2：借助图像窗口物体识别 边缘策略/选择性搜索 => R-CNN R-CNN => Fast R-CNN Fast R-CNN => Faster R-CNNNeuralStyle艺术化图片 原理 阅读全文

posted @ 2017-10-30 16:24 koocn 阅读(280) 评论(0) 推荐(0)

5月班第5次课caffe TensorFlow使用与CNN训练注意事项
摘要：CNN训练注意事项与框架使用 Mini-batch SGD 不断循环：① 采样一个batch数据(比如32张，可以做镜像对称)② 前向计算得到损失loss③ 反向传播计算梯度(一个 batch上的)④ 用这部分梯度迭代更新权重参数 训练注意点  2种方式去均值 不要做标准化、PCA和白化 权重 阅读全文

posted @ 2017-10-30 15:35 koocn 阅读(157) 评论(0) 推荐(0)

5月深度学习班第4课CNN，典型网络结构与常用框架
摘要：CNN与常用框架 主要内容神经网络与卷积神经网络 1.层级结构 2.数据处理 3.训练算法 4.优缺点实际搭建与训练CNN 1.典型CNN 2.训练与fine-tuning常用框架与应用 1.常用框架 2.广泛应用 神经网络长什么样？ 什么鬼… 完整演示图：http://cs231n.gith 阅读全文

posted @ 2017-10-30 15:18 koocn 阅读(290) 评论(0) 推荐(0)

5月深度学习班第3课梯度下降法与反向传播
摘要：梯度下降法与反向传播 梯度下降法1.损失函数可视化2.最优化3.梯度下降反向传播1.梯度与偏导2.链式法则3.直观理解4.Sigmoid例子 两个重要函数得分函数损失函数核心目标找到最合适的参数w.使得损失函数取值最小化。也就是最优化的过程 损失函数往往定义在非常高维的空间比如CIF 阅读全文

posted @ 2017-10-30 14:34 koocn 阅读(166) 评论(0) 推荐(0)

5月深度学习班第2课高效计算基础与图像线性分类器
摘要：这节课主要是讲了些基本的numpy，scipy和线性的分类器（图像上面，比如knn），还讲了下一些损失函数 一：numpy，scipy和线性的分类器（图像上面，比如knn）主要讲代码 注意;axis=0 表示列 axis=1表示行 numpy.random.rand(d0, d1, ..., dn) 阅读全文

posted @ 2017-10-22 17:31 koocn 阅读(151) 评论(0) 推荐(0)

5月深度学习班第1课机器学习中数学基础
摘要：梯度方向：上升的方向 梯度下降：沿着梯度的反方向下降，来最小化损失函数，也就是沿着梯度的反方向 泰勒级数：展开式通项 贝叶斯公式：后验概率=先验概率*条件概率 特征值与特征向量：特征值不同，特征向量线性无关 PCA:降维的同时尽可能的保留原始的信息 过程 1)先求解协方差矩阵 2)求解协方差矩阵的特 阅读全文

posted @ 2017-10-22 16:34 koocn 阅读(256) 评论(0) 推荐(0)

CS224n笔记18 挑战深度学习与自然语言处理的极限
摘要：本文转自：http://www.hankcs.com/nlp/cs224n-tackling-the-limits-of-dl-for-nlp.html 最后一课，总结了目前这两个领域中的难题，介绍了一些前沿研究：快16倍的QRNN、自动设计神经网络的NAS等。 深度学习已经漂亮地完成了许多单项任务 阅读全文

posted @ 2017-10-20 22:36 koocn 阅读(234) 评论(0) 推荐(0)

CS224n笔记17 NLP存在的问题与未来的架构
摘要：本文转自：http://www.hankcs.com/nlp/cs224n-nlp-issues-architectures.html/3 课程介绍了各种各样的深度学习网络与应用，是时候从更高层次思考自然语言处理存在的问题与展望未来了。虽然BiLSTM与attention几乎统治了NLP，但在篇章级 阅读全文

posted @ 2017-10-20 22:19 koocn 阅读(475) 评论(0) 推荐(0)

CS224n笔记16 DMN与问答系统
摘要：本文转自：http://www.hankcs.com/nlp/cs224n-dmn-question-answering.html/2 最有意思的一课，将所有NLP任务视作QA问题。模仿人类粗读文章和问题，再带着问题反复阅读文章的行为，利用DMN这个通用框架漂亮地解决了从词性标注、情感分析到机器翻译 阅读全文

posted @ 2017-10-20 21:51 koocn 阅读(255) 评论(0) 推荐(0)

CS224n笔记15 指代消解
摘要：本文转自：http://www.hankcs.com/nlp/cs224n-coreference-resolution.html 从规则启发式代词回指消解出发，介绍了传统特征工程二分类模型、启发式损失的分类模型，过渡到利用强化学习自动缩放损失的神经网络模型。 什么是指代消解 找出文本中名词短语所指 阅读全文

posted @ 2017-10-20 21:34 koocn 阅读(616) 评论(0) 推荐(0)

CS224n笔记14 Tree RNN与短语句法分析
摘要：本文转自：http://www.hankcs.com/nlp/cs224n-tree-recursive-neural-networks-and-constituency-parsing.html 介绍了著名的复合性原理，由此启发得到树形RNN，用于表示短语和句子级别的语义。从朴素树形RNN到SU- 阅读全文

posted @ 2017-10-20 21:28 koocn 阅读(1600) 评论(0) 推荐(0)

CS224n笔记13 卷积神经网络
摘要：本文转自：http://www.hankcs.com/nlp/cs224n-convolutional-neural-networks.html 补充了NLP中相对冷门的CNN，谈了谈调参与发论文的潜规则。 从RNN到CNN RNN无法利用未来的特征预测当前单词，就算是bi-RNN，也不过是双向重蹈 阅读全文

posted @ 2017-10-20 21:22 koocn 阅读(218) 评论(0) 推荐(0)

CS224n笔记12 语音识别的end-to-end模型
摘要：本文转自：http://www.hankcs.com/nlp/cs224n-end-to-end-asr.html 这次斯坦福请到了深度学习教父Hinton的弟子Navdeep来讲语音识别，他正在英伟达工作，怪不得N卡在深度学习中的地位如此之高。而他本人也在用Dell的搭载了N卡的XPS跑Ubunt 阅读全文

posted @ 2017-10-20 21:13 koocn 阅读(442) 评论(0) 推荐(0)

CS224n笔记11 GRU和NMT的进一步话题
摘要：本文转自：http://www.hankcs.com/nlp/cs224n-gru-nmt.html 从动机层面直观地充实了GRU和LSTM的理解，介绍了MT的评测方法，讨论了NMT中棘手的大词表问题和一些常见与最新的解决办法。 深入LSTM 宏观上的LSTM Cell： 将所有操作都gate起来， 阅读全文

posted @ 2017-10-20 20:59 koocn 阅读(178) 评论(0) 推荐(0)

CS224n笔记10 NMT与Attention
摘要：本文转自：http://www.hankcs.com/nlp/cs224n-9-nmt-models-with-attention.html 90年代出现了一种类似RNN的更复杂的框架： 阅读全文

posted @ 2017-10-20 20:23 koocn 阅读(204) 评论(0) 推荐(0)

CS224n笔记9 机器翻译和高级LSTM及GRU
摘要：本文转自：http://www.hankcs.com/nlp/cs224n-mt-lstm-gru.html 其中，带黑点的表示离散的向量表示，否则表示连续的向量空间。 3、使用深度RNN LSTM单元结构如下： 那时候的NN模型还是仅限于重新排序传统MT模型产生的结果，而最新的研究就是完全甩开了M 阅读全文

posted @ 2017-10-20 20:05 koocn 阅读(209) 评论(0) 推荐(0)

CS224n笔记8 RNN和语言模型
摘要：本文转自:http://www.hankcs.com/nlp/cs224n-rnn-and-language-models.html 实现这个任务的朴素网络结构就是一个裸的RNN： 但是这个网络无法利用当前词语的下文辅助分类决策，解决方法是使用一些更复杂的RNN变种。 Bidirectional R 阅读全文

posted @ 2017-10-20 19:38 koocn 阅读(205) 评论(0) 推荐(0)

CS224n笔记7 TensorFlow入门
摘要：本文转自：http://www.hankcs.com/nlp/cs224n-tensorflow.html 这节课由TA们介绍了TF里的几个基本概念（graph、variable、placeholder、session、fetch、feed），基本流程。然后现场敲代码演示如何在TF上跑线性回归和训练 阅读全文

posted @ 2017-10-20 19:20 koocn 阅读(150) 评论(0) 推荐(0)

CS224n笔记6 句法分析
摘要：本文转自：http://www.hankcs.com/nlp/cs224n-dependency-parsing.html 句法分析还算熟悉，就跟着复习了神经网络句法分析的动机与手法，了解一下比较前沿的动向 阅读全文

posted @ 2017-10-20 19:02 koocn 阅读(190) 评论(0) 推荐(0)

CS224n笔记5 反向传播与项目指导
摘要：本文转自：http://www.hankcs.com/nlp/cs224n-backpropagation-and-project-advice.html 最后一次数学课，其实都是些很基础的推导而已。从四个不同的层面讲解反向传播，其中电路和有向图类比还是很直观新颖的解释。 阅读全文

posted @ 2017-10-20 18:46 koocn 阅读(239) 评论(0) 推荐(0)

CS224n笔记4 Word Window分类与神经网络
摘要：本文转自：http://www.hankcs.com/nlp/cs224n-word-window-classification-and-neural-networks.html 这节课介绍了根据上下文预测单词分类的问题，与常见神经网络课程套路不同，以间隔最大化为目标函数，推导了对权值矩阵和词向量的 阅读全文

posted @ 2017-10-20 14:09 koocn 阅读(202) 评论(0) 推荐(0)

CS224n笔记3 高级词向量表示
摘要：本文转自：http://www.hankcs.com/nlp/cs224n-advanced-word-vector-representations.html 这节课从传统的基于计数的全局方法出发，过渡到结合两者优势的GloVe，并介绍了词向量的调参与评测方法。 复习：word2vec的主要思路 遍 阅读全文

posted @ 2017-10-20 13:29 koocn 阅读(218) 评论(0) 推荐(0)

CS224n笔记2 词的向量表示：word2vec
摘要：本文转自：http://www.hankcs.com/nlp/word-vector-representations-word2vec.html 如何表示一个词语的意思 先来看看如何定义“意思”的意思，英文中meaning代表人或文字想要表达的idea。这是个递归的定义，估计查询idea词典会用me 阅读全文

posted @ 2017-10-19 19:09 koocn 阅读(454) 评论(0) 推荐(0)

CS224n笔记1 自然语言处理与深度学习简介
摘要：原文转载：http://www.hankcs.com/nlp/cs224n-introduction-to-nlp-and-deep-learning.html 什么是自然语言处理 这是一门计算机科学、人工智能以及语言学的交叉学科。虽然语言只是人工智能的一部分（人工智能还包括计算机视觉等），但它是非 阅读全文

posted @ 2017-10-19 16:23 koocn 阅读(602) 评论(0) 推荐(0)

斯坦福CS224n深度学习与NLP课程
摘要：斯坦福大学CS224n（全称：深度学习与自然语言处理）是自然语言处理领域很受欢迎的课程，由 Chris Manning 和 Richard Socher 主讲 自然语言处理是理解复杂人类语言交际的关键人工智能技术。本系列讲座全面介绍了应用于NLP的前沿研究，这种方法最近在许多不同的NLP任务中获得了 阅读全文

posted @ 2017-10-18 22:51 koocn 阅读(569) 评论(0) 推荐(0)