随笔分类 - 机器学习
摘要：参考知乎：https://www.zhihu.com/question/19723347 这篇博文讲牛顿法讲的非常好：http://blog.csdn.net/itplus/article/details/21896453 梯度下降法用目标函数的一阶偏导、以负梯度方向作为搜索方向，只考虑目标函数 在
阅读全文
摘要：参考知乎的讨论：https://www.zhihu.com/question/29021768 1、计算简单，反向传播时涉及除法，sigmod求导要比Relu复杂； 2、对于深层网络，sigmod反向传播时，容易出现梯度消失的情况（在sigmod接近饱和区），造成信息丢失； 3、Relu会使一些输出
阅读全文
摘要：笔试时遇到这个问题，这篇博文写的蛮好：https://www.52ml.net/16294.html 总结起来四种方法： （1）过采样：过抽样方法通过增加少数类样本来提高少数类的分类性能 ， 最简单的办法是简单复制少数类样本，缺点是可能导致过拟合，没有给少数类增加任何新的信息。 改进的过抽样方法通过
阅读全文
摘要：这几个概念一直容易混淆 True Positive(真正, TP)：将正类预测为正类数. True Negative(真负 , TN)：将负类预测为负类数. False Positive(假正, FP)：将负类预测为正类数 →→ 误报 (Type I error). False Negative(假
阅读全文
摘要：前几天搜狗的一道笔试题，大意是在随机森林上增加一棵树，variance和bias如何变化呢？ 参考知乎上的讨论：https://www.zhihu.com/question/27068705 另外可参考林轩田老师在机器学习技法的《Blending and Bagging》中的讲解： 综上，bias反
阅读全文
摘要：参考：http://blog.csdn.net/zouxy09/article/details/24971995/ http://blog.csdn.net/zouxy09/article/details/24972869 L0范数：向量中非0元素的个数，以L0范数正则化是希望更多的W为0。 L1范
阅读全文
摘要：转自：http://blog.selfup.cn/1243.html
阅读全文
摘要：按语言对库的分类：http://www.teglor.com/b/deep-learning-libraries-language-cm569/ 不定时更新。。。。。。
阅读全文
摘要：先马克一下：http://blog.csdn.net/u012162613/article/details/41929171
阅读全文
摘要：ufdl的新教程，从基础学起。第一节讲的是线性回归。主要目的是熟悉目标函数，计算梯度和优化。 按着教程写完代码后，总是编译出错，一查是mex的原因，实在不想整了。 这位博主用的是向量，比较简洁：http://blog.csdn.net/lingerlanlan/article/details/383
阅读全文
摘要：转自：http://ask.julyedu.com/question/708
阅读全文
摘要：参考：http://blog.csdn.net/wuyanyi/article/details/8003946 http://www.cnblogs.com/boqun1991/p/4063575.html
阅读全文
摘要：很多ML模型用的都是数值特征，那么对于分类特征，该怎么做呢？ 以linear network为例：先对特征进行转换，转换成有意义的特征后，再对其进行线性组合 进一步，模型可表示为：使Ein最小，我们就能知道如何转换特征，如何组合线性模型。 以给电影打分为例，我们实际上要做的，就是...
阅读全文
摘要：将Radial Basis Function与Network相结合。实际上衡量两个点的相似性：距离越近，值越大。 将神经元换为与距离有关的函数，就是RBF Network： 可以用kernel和RBF来衡量相似性： 那么...
阅读全文
摘要：参考：https://codesachin.wordpress.com/2015/08/05/on-the-biasvariance-tradeoff-in-machine-learning/ 之前一直没搞明白什么是bias，什么是variance，现在看看这篇博文。 当你的模型太简单...
阅读全文
摘要：深度学习面临的问题和现在解决的办法： 简要来说，分两步使用DL：初始化时一层一层的选择权重，而后再进行训练： 那么怎么做pre-training，即怎么选择权重呢？好的权重能够不改变原有资料的信息，即编码过后信息够解码过后仍能保持 ...
阅读全文
摘要：由perceptron线性组成的一个神经网络： 通过赋予g不同的权值，来实现不同的切分功能： 但有的切分只通过一次特征转换是不够的，需要多次转换，如下：Neural Network Hypothesis：为了便于优化，将sign（离散）变成tanh，这个函数相当于regression的拉伸与...
阅读全文
摘要：将Adaboost和decision tree相结合，需要注意的地主是，训练时adaboost需要改变资料的权重，如何将有权重的资 料和decision tree相结合呢？方法很类似于前面讲过的bagging，通过采样资料来使资料获得不同的权重。 一棵完全的树的权值...
阅读全文
摘要：随机森林就是要将这我们之前学的两个算法进行结合：bagging能减少variance（通过g们投票），而decision tree的variance很大，资料不同，生成的树也不同。 为了得到不同的g，除了用bootstrap用不同的资料得到不同的g外，还可以采用随即选择特征的方式...
阅读全文
摘要：参考：http://www.cnblogs.com/GuoJiaSheng/p/4480497.html http://www.cnblogs.com/tornadomeet/archive/2012/04/12/2443993.html
阅读全文
