摘要:
摘要:上一节对决策树的基本原理进行了梳理,本节主要根据其原理做一个逻辑的实现,然后调用sklearn的包实现决策树分类。 这里主要是对分类树的决策进行实现,算法采用ID3,即以信息增益作为划分标准进行。 首先计算数据集的信息熵,代码如下: 1 import math 2 import numpy a 阅读全文
摘要:
摘要:本部分对决策树几种算法的原理及算法过程进行简要介绍,然后编写程序实现决策树算法,再根据Python自带机器学习包实现决策树算法,最后从决策树引申至集成学习相关内容。 1.决策树 决策树作为一种常见的有监督学习算法,在机器学习领域通常有着不错的表现,决策树在生活中决策去做某件事时,会根据自己的经 阅读全文
摘要:
前面已经对感知机和SVM进行了简要的概述,本节是SVM算法的实现过程用于辅助理解SVM算法的具体内容,然后借助sklearn对SVM工具包进行实现。 SVM算法的核心是SMO算法的实现,首先对SMO算法过程进行实现,先对一些辅助函数进行定义: 1 # 先定义一些辅助函数 2 # 选取第二变量函数 3 阅读全文
摘要:
上文主要对感知机和SVM进行了简要概括,并对感知机和SVM利用梯度下降算法求解的过程,这篇主要对SVM的对偶形式转化及求解过程进行学习。 SVM的对偶形式 理论上对于线性可分的数据,采用梯度下降对SVM进行求解和学习已能满足基本要求,但考虑到非线性数据,以及问题求解的复杂程度等问题,将SVM原始问题 阅读全文
摘要:
对《Python与机器学习实战》一书阅读的记录,对于一些难以理解的地方查阅了资料辅以理解并补充和记录,重新梳理一下感知机和SVM的算法原理,加深记忆。 1.感知机 感知机的基本概念 感知机是运用梯度下降学习过程的最简单的机器学习算法之一,是神经网络和支持向量机的基础。具体提出是由Rosenblatt 阅读全文