随笔分类 - 数据挖掘及机器学习
protobuf，log4j，日志处理及挖掘
摘要：来源：知乎原文链接：深度学习系统相比较传统的机器学习系统，针对常见的分类问题，精度究竟能有多大提升？ 问题： 我现在手头有一个binary classification的问题。数据量在一百万左右。每个sample都是一个14个feature组成的vector。每个feature都是一个0～1的flo
阅读全文
摘要：https://www.52ml.net/19370.html 精度、召回、F1点直观理解 图片来自：http://blog.csdn.net/marising/article/details/6543943 下文摘自：http://www.chmod764sean.com/computer-tec
阅读全文
摘要：https://www.52ml.net/20145.html 1 特征工程是什么？ 有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。通过总结
阅读全文
摘要：https://www.52ml.net/21391.html 本文主要回顾下几个常用算法的适应场景及其优缺点！（提示：部分内容摘自网络）。 机器学习算法太多了，分类、回归、聚类、推荐、图像识别领域等等，要想找到一个合适算法真的不容易，所以在实际应用中，我们一般都是采用启发式学习方式来实验。通常最开
阅读全文
摘要：卷积神经网络（CNN）由输入层、卷积层、激活函数、池化层、全连接层组成，即INPUT-CONV-RELU-POOL-FC (1)卷积层：用它来进行特征提取，如下： 输入图像是32*32*3，3是它的深度（即R、G、B），卷积层是一个5*5*3的filter(感受野)，这里注意：感受野的深度必须和输入
阅读全文
摘要：一、卷积神经网络的基本概念 受Hubel和Wiesel对猫视觉皮层电生理研究启发，有人提出卷积神经网络（CNN），Yann Lecun 最早将CNN用于手写数字识别并一直保持了其在该问题的霸主地位。近年来卷积神经网络在多个方向持续发力，在语音识别、人脸识别、通用物体识别、运动分析、自然语言处理甚至脑
阅读全文
摘要：http://blog.csdn.net/eddy_zheng/article/details/50763648 1、相关知识 从广义上来说，NN（或是更美的DNN）确实可以认为包含了CNN、RNN这些具体的变种形式。有很多人认为，它们并没有可比性，或是根本没必要放在一起比较。在实际应用中，所谓的深
阅读全文
摘要：作者 | 张皓 引言 RNN是深度学习中用于处理时序数据的关键技术， 目前已在自然语言处理， 语音识别， 视频识别等领域取得重要突破， 然而梯度消失现象制约着RNN的实际应用。LSTM和GRU是两种目前广为使用的RNN变体，它们通过门控机制很大程度上缓解了RNN的梯度消失问题，但是它们的内部结构看上
阅读全文
摘要：http://www.jianshu.com/p/75f7e60dae95 作者：陈迪豪 来源：CSDNhttp://dataunion.org/26447.html 交叉熵介绍 交叉熵（Cross Entropy）是Loss函数的一种（也称为损失函数或代价函数），用于描述模型预测值与真实值的差距大
阅读全文
摘要：http://blog.csdn.net/u014595019/article/details/52805444 tensorflow笔记系列： （一） tensorflow笔记：流程，概念和简单代码注释 （二） tensorflow笔记：多层CNN代码分析 （三） tensorflow笔记：多层L
阅读全文
摘要：一、可以做决定的神经网络 在了解了神经网络在无监督学习方面的应用以后，我们接下来将见到机器学习的第三部分：增强学习。尽管这个概念需要一个明确的数学表示进行描述，但我们可以先从简单理解一下：增强学习可以帮助我们作出决定。有一些理想的代理（例如一个小程序），这些代理可以基于其当前的状态来决定当下的动作，
阅读全文
摘要：http://blog.csdn.net/luzonghao1/article/details/50998622 导读：这是《神经网络和深度学习简史》第二部分，这一部分我们会了解BP算法发展之后一些取得迅猛发展的研究，稍后我们会看到深度学习的关键性基础。还没有看过第一部分的读者可以 戳这里 。（←点
阅读全文
摘要：神经网络和深度学习简史（一） “深度学习这一朵浪花在计算机语言学的海上已经被研究了多年，但2015年似乎有一股海啸般的力量把自然语言处理（NLP）推到了世人面前” Dr. Christopher D. Manning, Dec 2015 [1] 科研某一个领域的所有已知方法被一种突如其来新发现而完全
阅读全文
摘要：递归神经网络引入了时序的反馈机制，在语音、音乐等时序信号的分析上有重要的意义。 Hochreiter(应该是Schmidhuber的弟子)在1991年分析了bptt带来的梯度爆炸和消失问题，给学习算法带来了梯度 震荡和学习困难等问题； Hochreater和Schmidhuber在1997年提出了L
阅读全文
摘要：（1）梯度不稳定问题： 什么是梯度不稳定问题：深度神经网络中的梯度不稳定性，前面层中的梯度或会消失，或会爆炸。 原因：前面层上的梯度是来自于后面层上梯度的乘乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景，如梯度消失和梯度爆炸。 （2）梯度消失（vanishing gradient prob
阅读全文
摘要：作者：维吉特伯链接：https://www.zhihu.com/question/49812013/answer/148825073来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 简单地说，根据链式法则，如果每一层神经元对上一层的输出的偏导乘上权重结果都小于1的话（
阅读全文
摘要：随着神经网络层数的增加，会出现梯度消失或者梯度爆炸的问题，下面细说下问什么会出现： 起初的学习率固定。 下面来看几组通过增加隐藏层层数后的学习率变化图：
阅读全文
摘要：http://www.jianshu.com/p/f3bde26febed/ 这篇是 The Unreasonable Effectiveness of Recurrent Neural Networks（by Andrej Karpathy，Stanford的Li Fei-Fei的博士生。文章介绍
阅读全文
摘要：https://www.zhihu.com/question/20587681 作者：任坤链接：https://www.zhihu.com/question/20587681/answer/17435552来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 简单地说，频率
阅读全文
摘要：Github上同学总结的机器学习和deeplearning方面的很全的资料： 原文地址：ty4z2008/Qix 《Brief History of Machine Learning》 介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感知机、神经网络、决策树、SVM、Adaboost到随机森林、
阅读全文