那抹阳光1994

摘要： ▌短时记忆 RNN 会受到短时记忆的影响。如果一条序列足够长，那它们将很难将信息从较早的时间步传送到后面的时间步。 因此，如果你正在尝试处理一段文本进行预测，RNN 可能从一开始就会遗漏重要信息。 在反向传播期间，RNN 会面临梯度消失的问题。 梯度是用于更新神经网络的权重值，消失的梯度问题是当梯度 阅读全文

摘要： 比Momentum更快：揭开Nesterov Accelerated Gradient的真面目 转自：https://zhuanlan.zhihu.com/p/22810533 作为一个调参狗，每天用着深度学习框架提供的各种优化算法如Momentum、AdaDelta、Adam等，却对其中的原理不甚 阅读全文

摘要： 作者：郑华滨链接：https://www.zhihu.com/question/52602529/answer/158727900来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 Wasserstein GAN最新进展：从weight clipping到gradient 阅读全文

摘要： 本文后续：Wasserstein GAN最新进展：从weight clipping到gradient penalty，更加先进的Lipschitz限制手法 转自：https://zhuanlan.zhihu.com/p/25071913 在GAN的相关研究如火如荼甚至可以说是泛滥的今天，一篇新鲜出炉 阅读全文

摘要： 本文源自知乎，仅作为个人学习使用。 作者：郑华滨链接：https://zhuanlan.zhihu.com/p/27159510来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 前段时间我受极视角邀请，在斗鱼上直播分享有关GAN的话题。考虑到现在网上关于GAN的文章、视 阅读全文

摘要： MMD：最大均值差异 Wasserstein距离[1] 实验 数据来源 Amazon review benchmark dataset. The Amazon review dataset is one of the most widely used benchmarks for domain ad 阅读全文

摘要： 本文转载自「机器学习炼丹记」，搜索「julius-ai」即可关注。 原文链接：小象 （一）一个框架看懂优化算法 机器学习界有一群炼丹师，他们每天的日常是： 拿来药材（数据），架起八卦炉（模型），点着六味真火（优化算法），就摇着蒲扇等着丹药出炉了。 不过，当过厨子的都知道，同样的食材，同样的菜谱，但火 阅读全文

摘要： Adam--自适应矩估计算法（转自：https://blog.csdn.net/leadai/article/details/79178787） 深度学习常常需要大量的时间和机算资源进行训练，这也是困扰深度学习算法开发的重大原因。虽然我们可以采用分布式并行训练加速模型的学习，但所需的计算资源并没有丝 阅读全文

摘要： 前馈控制 前馈控制是在前苏联学者所倡导的不变性原理的基础上发展而成的。20世纪50年代以后，在工程上，前馈控制系统逐渐得到了广泛的应用。前馈控制系统是根据扰动或给定值的变化按补偿原理来工作的控制系统，其特点是当扰动产生后，被控变量还未变化以前，根据扰动作用的大小进行控制，以补偿扰动作用对被控变量的影 阅读全文

摘要： Chirp信号 Generate swept-frequency cosine (chirp) signal Chirp信号是一个典型的非平稳信号，在通信、声纳、雷达等领域具有广泛的应用， Chirp译名:啁啾（读音：“周纠”），是通信技术有关编码脉冲技术中的一种术语，是指对脉冲进行编码时，其载频在 阅读全文