Pytorch中的LSTM和LSTMCell
摘要：LSTM class torch.nn.LSTM(*args, **kwargs) 参数列表 input_size：x的特征维度 hidden_size：隐藏层的特征维度 num_layers：lstm隐层的层数，默认为1 bias：False则bih=0和bhh=0. 默认为True batch_
阅读全文
posted @ 2019-03-26 15:01
03 2019 档案
The Unreasonable Effectiveness of Recurrent Neural Networks
摘要：Andrej Karpathy blog 转自：http://karpathy.github.io/2015/05/21/rnn-effectiveness/ Karpathy 关于RNN的博客 The Unreasonable Effectiveness of Recurrent Neural N
阅读全文
posted @ 2019-03-25 21:31
RNN的灵活性
摘要：传统的Feedforward和CNN只能做到向量到向量的 one-to-one mapping RNN可以做到序列到序列的映射 sequence-to-sequence mapping 因此，采用RNN处理序列数据具有很好的灵活性。 传统的NN 图像标注（一到多） 情感分析（多到一） 机器翻译（多到
阅读全文
posted @ 2019-03-25 15:46
LSTM和GRU
摘要：▌短时记忆 RNN 会受到短时记忆的影响。如果一条序列足够长，那它们将很难将信息从较早的时间步传送到后面的时间步。 因此，如果你正在尝试处理一段文本进行预测，RNN 可能从一开始就会遗漏重要信息。 在反向传播期间，RNN 会面临梯度消失的问题。 梯度是用于更新神经网络的权重值，消失的梯度问题是当梯度
阅读全文
posted @ 2019-03-25 14:45
Nesterov Accelerated Gradient
摘要：比Momentum更快：揭开Nesterov Accelerated Gradient的真面目 转自：https://zhuanlan.zhihu.com/p/22810533 作为一个调参狗，每天用着深度学习框架提供的各种优化算法如Momentum、AdaDelta、Adam等，却对其中的原理不甚
阅读全文
posted @ 2019-03-22 22:51
Wasserstein GAN最新进展：从weight clipping到gradient penalty，更加先进的Lipschitz限制手法
摘要：作者：郑华滨链接：https://www.zhihu.com/question/52602529/answer/158727900来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 Wasserstein GAN最新进展：从weight clipping到gradient
阅读全文
posted @ 2019-03-22 22:26
Wasserstein GAN
摘要：本文后续：Wasserstein GAN最新进展：从weight clipping到gradient penalty，更加先进的Lipschitz限制手法 转自：https://zhuanlan.zhihu.com/p/25071913 在GAN的相关研究如火如荼甚至可以说是泛滥的今天，一篇新鲜出炉
阅读全文
posted @ 2019-03-22 22:21
PM、GAN、InfoGAN、对抗自编码模型对比
摘要：本文源自知乎，仅作为个人学习使用。 作者：郑华滨链接：https://zhuanlan.zhihu.com/p/27159510来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 前段时间我受极视角邀请，在斗鱼上直播分享有关GAN的话题。考虑到现在网上关于GAN的文章、视
阅读全文
posted @ 2019-03-22 21:37
两分布间距离的度量：MMD、KL散度、Wasserstein 对比
摘要：MMD：最大均值差异 Wasserstein距离[1] 实验 数据来源 Amazon review benchmark dataset. The Amazon review dataset is one of the most widely used benchmarks for domain ad
阅读全文
posted @ 2019-03-22 21:26
Adam与SGD
摘要：本文转载自「机器学习炼丹记」，搜索「julius-ai」即可关注。 原文链接：小象 （一）一个框架看懂优化算法 机器学习界有一群炼丹师，他们每天的日常是： 拿来药材（数据），架起八卦炉（模型），点着六味真火（优化算法），就摇着蒲扇等着丹药出炉了。 不过，当过厨子的都知道，同样的食材，同样的菜谱，但火
阅读全文
posted @ 2019-03-19 20:29
Adam优化算法
摘要：Adam--自适应矩估计算法（转自：https://blog.csdn.net/leadai/article/details/79178787） 深度学习常常需要大量的时间和机算资源进行训练，这也是困扰深度学习算法开发的重大原因。虽然我们可以采用分布式并行训练加速模型的学习，但所需的计算资源并没有丝
阅读全文
posted @ 2019-03-19 20:27
前馈控制与反馈控制
摘要：前馈控制 前馈控制是在前苏联学者所倡导的不变性原理的基础上发展而成的。20世纪50年代以后，在工程上，前馈控制系统逐渐得到了广泛的应用。前馈控制系统是根据扰动或给定值的变化按补偿原理来工作的控制系统，其特点是当扰动产生后，被控变量还未变化以前，根据扰动作用的大小进行控制，以补偿扰动作用对被控变量的影
阅读全文
posted @ 2019-03-14 11:49
啁啾信号chirp（扫频余弦信号）
摘要：Chirp信号 Generate swept-frequency cosine (chirp) signal Chirp信号是一个典型的非平稳信号，在通信、声纳、雷达等领域具有广泛的应用， Chirp译名:啁啾（读音：“周纠”），是通信技术有关编码脉冲技术中的一种术语，是指对脉冲进行编码时，其载频在
阅读全文
posted @ 2019-03-13 10:59
分位数Quantiles
摘要：什么是分位数？ 显然，分位数是用来定位的，表示某个样本在整个样本空间中的位置信息。 通过CDF(累积分布函数)可以很好地理解分位数的概念。CDF是一个单调递增的函数，F(q) = F(x<=q) 。CDF曲线中横轴是随机变量的取值，竖轴是小于某个取值的概率。 由于CDF单调递增，因此一定存在一个逆函
阅读全文
posted @ 2019-03-06 13:14
联合概率密度，条件概率，乘法公式，求和公式，边缘分布，链式法则，贝叶斯公式
摘要：联合概率密度 P(A^B) 条件概率 从面积比例看出，P(A|B)等于B中A的面积（P(A^B)）除以B的面积（P(B)）。 乘法公式（乘积法则） 假如事件A与B相互独立，那么： 相互独立：表示两个事件互不影响。 互斥：表示两个事件不能同时发生。互斥事件一定不独立（因为一件事的发生导致了另一件事不能
阅读全文
posted @ 2019-03-04 21:42
RBF神经网络（待整理）
摘要：https://www.cnblogs.com/pinking/p/9349695.html
阅读全文
posted @ 2019-03-04 14:44
长尾效应--Long Tail Effect
摘要：什么是长尾long tail？ 长尾效应，英文名称Long Tail Effect。“头”（head）和“尾”（tail）是两个统计学名词。正态曲线中间的突起部分叫“头”；两边相对平缓的部分叫“尾”。从人们需求的角度来看，大多数的需求会集中在头部，而这部分我们可以称之为流行，而分布在尾部的需求是个性
阅读全文
posted @ 2019-03-02 22:10
