随笔分类 - 深度学习
摘要：参考文献：http://theorangeduck.com/page/neural-network-not-working我的网络不起作用!该怎么办？因此，你在深度学习方面正在开发下一个重大突破，但你遇到了一个不幸的挫折：你的神经网络不起作用，你不知道该怎么做。你去找你的老板/上司，但他们也不知道-他们和你一样对这一切都很陌生-那现在怎么办？对你来说，幸运的是，我在这里列出了你可能做错了的所有事情...
阅读全文
该文被密码保护。
摘要：动态图 vs. 静态图在 fast.ai，我们在选择框架时优先考虑程序员编程的便捷性（能更方便地进行调试和更直观地设计），而不是框架所能带来的模型加速能力。这也正是我们选择 PyTorch 的理由，因为它是一个具有动态图机制的灵活框架。依据采用动态计算或是静态计算的不同，可以将这些众多的深度学习框架划分成两大阵营，当然也有些框架同时具有动态计算和静态计算两种机制（比如 MxNet 和最新的 Ten...
阅读全文
摘要：在计算机视觉领域，“目标检测”主要解决两个问题：图像上多个目标物在哪里（位置），是什么（类别）。围绕这个问题，人们一般把其发展历程分为3个阶段：1. 传统的目标检测方法2. 以R-CNN为代表的结合region proposal和CNN分类的目标检测框架(R-CNN, SPP-NET, Fast R-CNN, Faster R-CNN, R-FCN)3. 以YOLO为代表的将目标检测转换为回归问题...
阅读全文
摘要：文章《Rethinking the Inception Architecture for Computer Vision》 介绍 VGG与GoogLeNet相比更朴素，但计算量大。GoogLeNet中的Inception结构设计的目的是减少计算量和内存。GoogLeNet中只有5百万参数，是Alex
阅读全文
摘要：从GoogLeNet的Inceptionv1开始，发展了众多inception，如inception v2、v3、v4与Inception-ResNet-V2。故事还是要从inception v1开始说起。Inception v1相比于GoogLeNet之前的众多卷积神经网络而言，inception v1采用在同一层中提取不同的特征（使用不同尺寸的卷积核），并提出了卷积核的并行合并（也称为Bott...
阅读全文
摘要：文献：《Going deeper with convolutions》 目的： 从前面介绍的AlexNet中可以看出，模型中引入了大量的稀疏性，如relu,dropout,pooling等，这样就可能导致网络的计算性能下降。为了既能保持网络结构的稀疏性，又能利用密集矩阵的高计算性能。大量的文献表明可
阅读全文
摘要：原文：ImageNet Classification with Deep ConvolutionalNeural Networks 一、LeNet局限 在很长时间里，LeNet虽然在小规模的问题上，如手写数字，取得过当时世界最好结果，但一直没有取得巨大成功。这主要原因是，LeNet在大规模图像上效果
阅读全文
摘要：Lecun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11):2278-2324.(Ⅰ.ind
阅读全文
摘要：生成式对抗模型GAN (Generativeadversarial networks) 是Goodfellow等[1]在 2014年提出的一种生成式模型，目前已经成为人工智能学界一个热门的研究方向，著名学者Yann Lecun甚至将其称为“过去十年间机器学习领域最让人激动的点子"。GAN的基本思想源
阅读全文
摘要：注意力机制即Attention mechanism在序列学习任务上具有巨大的提升作用，在编解码器框架内，通过在编码段加入A模型，对源数据序列进行数据加权变换，或者在解码端引入A模型，对目标数据进行加权变化，可以有效提高序列对序列的自然方式下的系统表现。 什么是Attention？ Attention
阅读全文
摘要：摘要: 一个新的系列，来自于斯坦福德深度学习在线课程：http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial。本文梳理了该教程第一部分的内容，主要包括人工神经网络入门、反向传递算法、梯度检验与高级优化 和 自编码算法与稀疏性等要点。最后以课程作业作为总结和练习。前言斯坦福深度学习在线课程是 Andrew Ng 编制的，该教程以深...
阅读全文
摘要：数值计算机器学习算法通常需要大量的数值计算。这通常是指通过迭代过程更新解的估计值来解决数学问题的算法，而不是通过解析过程推导出公式来提供正确解的方法。常见的操作包括优化（找到最小化或最大化函数值的参数）和线性方程组的求解。上溢和下溢连续数学在数字计算机上的根本困难是，我们需要通过有限数量的位模式来表示无限多的实数。这意味着我们在计算机中表示实数时，几乎总会引入一些近似误差。在许多情况下，这仅仅是舍...
阅读全文
摘要：在DeepLearning的文章中有看到end2end一次，作者们似乎都比较喜欢这个end2end learning的方式。那么到底啥是end2end？找了一下相关论文，没找到专门讲这个概念的，看来应该不是很严格定义的一个说法。那就搬运一下Quora上的提问和回答吧。问题：https://www.quora.com/What-is-end-to-end-learning-in-machine-le...
阅读全文
摘要：本文对自编码器（Auto-Encoder）算法及其相关变种算法进行简要介绍，其中包括 Regularized Auto-Encoder、Sparse Auto-Encoder、Denoising Auto-Encoder 和 Contractive Auto-Encoder，重点讨论各算法的基本思想
阅读全文
摘要：今天我们会来聊聊用神经网络如何进行非监督形式的学习. 也就是 autoencoder, 自编码. 压缩与解压 有一个神经网络, 它在做的事情是 接收一张图片, 然后 给它打码, 最后 再从打码后的图片中还原. 太抽象啦? 行, 我们再具体点. 假设刚刚那个神经网络是这样, 对应上刚刚的图片, 可以看
阅读全文
