随笔分类 - Deep Learning
摘要：问题导入在机器学习领域中，常见的一类工作是使用带标签数据训练神经网络实现分类、回归或其他目的，这种训练模型学习规律的方法一般称之为监督学习。在监督学习中，训练数据所对应的标签质量对于学习效果至关重要。如果学习时使用的标签数据都是错误的，那么不可能训练出有效的预测模型。同时，深度学习使用的神经网络往往结构复杂，为了得到良好的学习效果，对于带标签的训练数据的数量也有较高要求，即常被提到的大数据或海量数...
阅读全文
摘要：版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/Thinking_boy1992/article/details/53207177 本文翻译自 时序模型就是层次的线性叠加。 你能够通过向构造函数传递层实例的列表构建序列模型： ...
阅读全文
摘要：分类问题的优化过程是一个损失函数最小化的过程，对应的损失函数一般称为logloss，对于一个多分类问题，其在N个样本上的logloss损失函数具有以下形式：其中，yi(n)代表第n个样本是否属于第i个类别，取值为0或1，f(x(n))i代表分类模型对于第n个样本属于第i个类别的预测概率。将上面的式子稍作简化就可以得到我们常见的二分类问题下的损失函数，在这里不做展开，我们下面的讨论也都对于更为一般的...
阅读全文
摘要：An overview of gradient descent optimization algorithmsNote: If you are looking for a review paper, this blog post is also available as an article on arXiv.Table of contents:Gradient descent variantsB...
阅读全文
摘要：Note: On Feb 8, 2014, our terms of access changed along with the APIs/URLs for downloading. By continuing to download/access ImageNet data you agree t
阅读全文
摘要：前言这里讨论的优化问题指的是，给定目标函数f(x)，我们需要找到一组参数x，使得f(x)的值最小。本文以下内容假设读者已经了解机器学习基本知识，和梯度下降的原理。SGDSGD指stochastic gradient descent，即随机梯度下降。是梯度下降的batch版本。对于训练数据集，我们首先将其分成n个batch，每个batch包含m个样本。我们每次更新都利用一个batch的数据，而非整个...
阅读全文
摘要：https://www.youtube.com/watch?v=Qynt-TxAPOs&index=12&list=PL16j5WbGpaM0_Tj8CRmurZ8Kk1gEBc7fg&ab_channel=MachineLearner 来自为知笔记(Wiz)
阅读全文
摘要：本文是对ImageNet 2015的冠军ResNet(Deep Residual Networks)以及目前围绕ResNet这个工作研究者后续所发论文的总结，主要涉及到下面5篇论文。1. Link: Highway Networks:Rupesh Kumar Srivastava, Klaus Greff, Jürgen Schmidhuber2. Link: Deep Residual Lear...
阅读全文
摘要：1. 简介 神经网络和深度学习是由Michael Nielsen所写，其特色是：兼顾理论和实战，是一本供初学者深入理解Deep Learning的好书。2. 感知器与sigmoid神经元2.1 感知器(Perceptrons) 感知器工作原理：接收一系列二进制输入，经过特定的规则计算之后，输出一个简单的二进制。 计算规则：通过引入权重(weights)表示每个输入对...
阅读全文
摘要：Logistic回归、传统多层神经网络1.1 线性回归、线性神经网络、Logistic/Softmax回归线性回归是用于数据拟合的常规手段，其任务是优化目标函数：h(θ)=θ+θ1x1+θ2x2+....θnxn线性回归的求解法通常为两种：①解优化多元一次方程（矩阵）的传统方法，在数值分析里通常被称作”最小二乘法"，公式θ=(XTX)−1XTY②迭代法：有一阶导数（梯度下降）优化法、二阶导数（牛顿...
阅读全文
摘要：机器学习算法比较我爱机器学习(52ml.net)2016年10月18日1目录 [隐藏]偏差&方差常见算法优缺点1.朴素贝叶斯2.Logistic Regression（逻辑回归）3.线性回归4.最近邻算法——KNN5.决策树5.1 Adaboosting6.SVM支持向量机7. 人工神经网络的优缺点8.K-Means聚类算法选择参考参考文献作者：刘帝伟原文：机器学习算法比较本文主要回顾下几个常用算...
阅读全文
摘要：原文出处： 不会停的蜗牛 通过本篇文章可以对ML的常用算法有个常识性的认识，没有代码，没有复杂的理论推导，就是图解一下，知道这些算法是什么，它们是怎么应用的，例子主要是分类问题。每个算法都看了好几个视频，挑出讲的最清晰明了有趣的，便于科普。以后有时间再对单个算法做深入地解析。今天的算法如下：决策树随机森林算法逻辑回归SVM朴素贝叶斯K最近邻算法K均值算法Adaboost 算法神经网络马尔可夫1...
阅读全文
摘要：版权声明：本文为博主原创文章，欢迎转载，转载请注明原文地址、作者信息。Batch Normalization 学习笔记原文地址：http://blog.csdn.net/hjimce/article/details/50866313作者：hjimce一、背景意义本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalization: Accelerating De...
阅读全文
摘要：神经网络和深度学习简史深度学习掀起海啸如今，深度学习浪潮拍打计算机语言的海岸已有好几年，但是，2015年似乎才是这场海啸全力冲击自然语言处理（NLP）会议的一年。——Dr. Christopher D. Manning, Dec 2015整个研究领域的成熟方法已经迅速被新发现超越，这句话听起来有些夸大其词，就像是说它被「海啸」袭击了一样。但是，这种灾难性的形容的确可以用来描述深度学习在过去几年中的...
阅读全文
摘要：ReLu(Rectified Linear Units)激活函数论文参考：Deep Sparse Rectifier Neural Networks (很有趣的一篇paper）起源：传统激活函数、脑神经元激活频率研究、稀疏激活性传统Sigmoid系激活函数传统神经网络中最常用的两个激活函数，Sigmoid系（Logistic-Sigmoid、Tanh-Sigmoid）被视为神经网络的核心所在。从数...
阅读全文