随笔分类 - Machine Learning
摘要：转自 ：http://blog.csdn.net/aliceyangxi1987/article/details/73598857 学习曲线是什么？ 学习曲线就是通过画出不同训练集大小时训练集和交叉验证的准确率，可以看到模型在新数据上的表现，进而来判断模型是否方差偏高或偏差过高，以及增大训练集是否可
阅读全文
摘要：目录链接 (1) 牛顿法 (2) 拟牛顿条件 (3) DFP 算法 (4) BFGS 算法 (5) L-BFGS 算法
阅读全文
摘要：转自 http://blog.csdn.net/likika2012/article/details/39619687 前两日，在微博上说：“到今天为止，我至少亏欠了3篇文章待写：1、KD树；2、神经网络；3、编程艺术第28章。你看到，blog内的文章与你于别处所见的任何都不同。于是，等啊等，等一台
阅读全文
摘要：转自 http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92 简介 在本节中，我们介绍Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签 可以取两个以上的值。 Softma
阅读全文
摘要：转自http://www.cnblogs.com/chaosimple/p/3182157.html 一、统计学的基本概念 统计学里最基本的概念就是样本的均值、方差、标准差。首先，我们给定一个含有n个样本的集合，下面给出这些概念的公式描述： 均值： 标准差： 方差： 均值描述的是样本集合的中间点，它
阅读全文
摘要：转自 http://blog.csdn.net/xingzhedai/article/details/53144126 更多参考：http://blog.csdn.net/mafeiyu80/article/details/51446558 http://blog.csdn.net/caimouse
阅读全文
摘要：本人弱学校的CS 渣硕一枚，在找工作的时候，发现好多公司都对深度学习有要求，尤其是CNN和RNN，好吧，啥也不说了，拿过来好好看看。以前看习西瓜书的时候神经网络这块就是一个看的很模糊的块，包括台大的视频，上边有AutoEncoder，感觉很乱，所以总和了各种博客，各路大神的知识，总结如果，如有问题，
阅读全文
摘要：By Kubi Code 文章目录 1. 有监督学习和无监督学习的区别 2. 正则化 3. 过拟合 3.1. 产生的原因 3.2. 解决方法 4. 泛化能力 5. 生成模型和判别模型 6. 线性分类器与非线性分类器的区别以及优劣 6.1. 特征比数据量还大时，选择什么样的分类器？ 6.2. 对于维度
阅读全文
摘要：By Kubi Code 朴素贝叶斯 参考[1] 事件A和B同时发生的概率为在A发生的情况下发生B或者在B发生的情况下发生AP(A∩B)=P(A)∗P(B|A)=P(B)∗P(A|B)所以有：P(A|B)=P(B|A)∗P(A)P(B) 对于给出的待分类项，求解在此项出现的条件下各个目标类别出现的概
阅读全文
摘要：转自http://blog.csdn.net/mytestmy/article/details/19088827 声明：1）该博文是整理自网上很大牛和专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献2）本文仅供学术交流，非商用。所以每一部分具体的参考资料并没有详细对应，
阅读全文
摘要：转：http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html 前言： PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。在上篇文章中便是基于特征值分解的一种解释。特征值
阅读全文
摘要：参考： http://blog.csdn.net/a819825294/article/details/51206410 http://blog.csdn.net/sb19931201/article/details/52557382 http://www.cnblogs.com/zhouxiaoh
阅读全文
摘要：explained_variance_score() mean_absolute_error() mean_squared_error() r2_score() 以上四个函数的相同点： 这些函数都有一个参数“multioutput”，用来指定在多目标回归问题中，若干单个目标变量的损失或得分以什么样的
阅读全文
摘要：各种损失函数 损失函数或代价函数来度量给定的模型（一次）预测不一致的程度 损失函数的一般形式： 风险函数：度量平均意义下模型预测结果的好坏 损失函数分类： Zero-one Loss，Square Loss，Hinge Loss，Logistic Loss，Log Loss或Cross-entrop
阅读全文
摘要：学习器模型中一般有两个参数：一类参数可以从数据中学习估计得到，还有一类参数无法从数据中估计，只能靠人的经验进行指定，后一类参数就叫超参数 比如，支持向量机里的C，Kernel，gama，朴素贝叶斯里的alpha等，在学习其模型的设计中，我们要搜索超参数空间为学习器模型找到最合理的超参数，可以通过以下
阅读全文
摘要：sklearn数据集划分方法有如下方法： KFold，GroupKFold，StratifiedKFold，LeaveOneGroupOut，LeavePGroupsOut，LeaveOneOut，LeavePOut，ShuffleSplit，GroupShuffleSplit，Stratified
阅读全文
摘要：一、standardization 之所以标准化的原因是，如果数据集中的某个特征的取值不服从标准的正太分布，则性能就会变得很差 ①函数scale提供了快速和简单的方法在单个数组形式的数据集上来执行标准化操作 ②Preprocessing还提供了一个类StandarScaler，该类实现了变换器的AP
阅读全文
摘要：特征抽取sklearn.feature_extraction 模块提供了从原始数据如文本，图像等众抽取能够被机器学习算法直接处理的特征向量。 1.特征抽取方法之 Loading Features from Dicts 2.特征抽取方法之 Features hashing 3.特征抽取方法之 Text
阅读全文
摘要：一、模型验证方法如下： ①通过交叉验证得分：model_sleection.cross_val_score(estimator,X) 结果图 ②对每个输入数据点产生交叉验证估计：model_selection.cross_val_predict(estimator,X) ③、计算并绘制模型的学习率曲
阅读全文
摘要：sklearn 的数据集有好多个种 自带的小数据集（packaged dataset）：sklearn.datasets.load_<name> 可在线下载的数据集（Downloaded Dataset）：sklearn.datasets.fetch_<name> 计算机生成的数据集（Generat
阅读全文