随笔分类 - 机器学习算法
摘要：一、拉格朗日乘子法 一般，在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。这里我们先介绍拉格朗日乘子法，后面再介绍KKT条件。 比如考虑下面的组合优化的问题， 这是一个带等式约束的优化问题，有目标值，有约束条件。那么想想假设没有约束条件这个问题是怎么求解的呢？是不是直接f对各个x求导
阅读全文
摘要：1.什么是神经网络人脑是一个高度复杂的、非线性的和并行的计算机器（信息处理系统）。人脑能够组织他的组成成分，即神经元，以比今天已有的最快的计算机还要快许多倍的速度进行特定的计算（如模式识别、感知和发动机控制）。具体来说，完成一个感知识别任务（例如识别一张被嵌入陌生场景的熟悉的脸）人脑大概需要100~200毫秒，而一台高效的计算机却要花费比人脑多很多的时间才能完成一个相对简单的任务。一个“进化中”的...
阅读全文
摘要：模型评估与参数调优实战基于流水线的工作流一个方便使用的工具：scikit-learn中的Pipline类。它使得我们可以拟合出包含任意多个处理步骤的模型，并将模型用于新数据的预测。加载威斯康星乳腺癌数据集1.使用pandas从UCI网站直接读取数据集import pandas as pddf=pd.read_csv('https://archive.ics.uci.edu/ml/machine-l...
阅读全文
摘要：通过降维压缩数据在前面已经介绍了几种不同的特征选择技术对数据集进行降维的方法。另一种常用于降维的特征选择方法就是特征抽取。数据压缩也是机器学习领域中的一个重要内容。数据压缩技术可以帮助我们对数据及逆行存储和分析。这里主要涵盖三个主题：1.无监督数据压缩——主成分分析（PCA）2.基于类别可分最大化的监督降维技术——线性判别分析（LDA）3.通过核主成分分析进行非线性降维无监督数据降维技术——主成分...
阅读全文
摘要：1.稀疏学习学什么稀疏学习的任务主要是有稀疏编码、字典学习。关于稀疏信号的定义，这里给出4种形式：严格k稀疏信号，可压缩信号、稀疏基下的稀疏信号、稀疏基下的可压缩信号（1）严格k稀疏信号：考虑一个有限长信号x属于Rn，如果x至多有k个非零元素，即||x||0≤k，则称信号x为严格k稀疏信号，（2）可压缩信号：如果信号可以用一个k稀疏向量来近似表示，则称这样的信号为可压缩信号。（3）稀疏基下的稀疏信...
阅读全文
摘要：数据预处理——构建好的训练数据集机器学习算法最终学习结果的优劣取决于两个主要因素：数据的质量和数据中蕴含的有用信息的数量。缺失数据的处理在实际应用过程中，样本由于各种原因缺少一个或多个值得情况并不少见。其原因主要有：数据采集过程中出现了错误，常用得度量方法不适用于某些特征，或者在调查过程中某些数据未被填写等等。通常我们见到得缺失值是数据表中得空值，或者是类似于NaN的占位符。如果我们忽略这些缺失值...
阅读全文
摘要：使用scikit-learning 实现机器学习分类算法 分类算法的选择 没有免费的午餐理论：没有任何一种分类器可以在所有可能的应用场景下都有良好的表现。 实践证明，只有比较了多种学习算法的性能，才能为特定问题挑选出最合适的模型。这些模型针对不同数量的特征或样本、数据集中噪声的数量，以及类别是否线性
阅读全文
摘要：机器学习分类算法本章将介绍最早以算法方式描述的分类机器学习算法：感知器（perceptron）和自适应线性神经元。人造神经元——早期机器学习概览MP神经元生物神经元和MP神经元模型的对应关系如下表：这个结构非常简单，如果你还记得前面所讲的M-P神经元的结构的话，这个图其实就是输入输出两层神经元之间的简单连接单层感知器的局限性虽然单层感知器简单而优雅，但它显然不够聪明——它仅对线性问题具有分类能力。...
阅读全文
摘要：赋予计算机学习数据的能力涵盖：1.机器学习的一般概念2.机器学习方法的三种类型和基本术语3.成功构建机器学习系统所需的模块机器学习的三种不同方法1.监督学习2.无监督学习3.强化学习通过监督学习对未来事件进行预测监督学习的主要目的是使用有类标的训练数据构建模型，我们可以使用训练得到的模型对未来数据进行预测。此外，术语监督是指训练数据集中的每个样本均有一个已知的输出项（类标label）1.利用分类对...
阅读全文
摘要：简介最近AlphaGo Zero又火了一把，paper和各种分析文章都有了，有人看到了说不就是普通的Reinforcement learning吗，有人还没理解估值网络、快速下子网络的作用就放弃了。实际上，围棋是一种零和、信息对称的combinatorial game，因此AlphaGo用的是蒙特卡罗树搜索算法的一种，在计算树节点Q值时使用了ResNet等神经网络模型，只是在论文中也归类为增强学习...
阅读全文
摘要：什么是超参数 所谓超参数，就是机器学习模型里面的框架参数，比如聚类方法里面类的个数，或者话题模型里面话题的个数等等，都称为超参数。它们跟训练过程中学习的参数（权重）是不一样的，通常是手工设定，不断试错调整，或者对一系列穷举出来的参数组合一通枚举（叫做网格搜索）。深度学习和神经网络模型，有很多这样的参
阅读全文
摘要：感知器是一种早期的神经网络模型，由美国学者F.Rosenblatt于1957年提出.感知器中第一次引入了学习的概念，使人脑所具备的学习功能在基于符号处理的数学到了一定程度模拟，所以引起了广泛的关注。简单感知器简单感知器模型实际上仍然是MP模型的结构，但是它通过采用监督学习来逐步增强模式划分的能力，达到所谓学习的目的。其结构如下图所示感知器处理单元对n个输入进行加权和操作v即：其中，Wi为第i个输入...
阅读全文
摘要：kNN是一种基本分类与回归方法。k-NN的输入为实例的特征向量，对应于特征空间中的点；输出为实例的类别，可以取多类。k近邻实际上利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”。k值的选择、距离度量及分类决策规则是k近邻的三个基本要素。算法输入：训练数据集T={(x1,y1),(x2,y2),……..,(xN,yN)}输出：实例x所属的类y（1）根据给定的距离度量，在训练集T中找到与x...
阅读全文
摘要：决策树是一种基本的分类和回归方法。本章主要讨论用于分类的决策树，决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程，它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最
阅读全文
摘要：1.什么是稀疏表示： 用较少的基本信号的线性组合来表达大部分或者全部的原始信号。 其中，这些基本信号被称作原子，是从过完备字典中选出来的；而过完备字典则是由个数超过信号维数的原子聚集而来的。可见，任一信号在不同的原子组下有不同的稀疏表示。 假设我们用一个M*N的矩阵表示数据集X，每一行代表一个样本，
阅读全文
摘要：随机过程基本概念： 随机过程是一个比随机变量更广泛的概念。在概率论中，通常研究一个或多个这样有限个数的随机变量，即使在大数定律和中心极限定理中考虑了无穷多个随机变量，但也要假设随机变量之间互相独立。而随机过程主要是研究无穷多个互相不独立的、有一定相关关系的随机变量。随机过程就是许多随机变量的集合，代
阅读全文
摘要：定义： 隐马尔科夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。 隐马尔科夫模型由初始概率分布、状态转移概率分布以及观测概率分布确定。 Q={q1,q2,q3,…….qN}————————————所有可能的状态集
阅读全文
