09 2024 档案
摘要:0 前言 本文主要介绍极大似然估计的意义,并举出例题帮助读者理解。 1 思想 极大似然估计(Maximum Likelihood Estimation, MLE)是一种在统计学中估计模型参数的方法。它的基本思想是:找到一组参数值,使得在这组参数下,观测到的数据出现的概率(即似然函数)最大。 假如有一
阅读全文
摘要:
0 前言 本文主要讲述使用基尼指数构建二叉决策树的算法,并给出例题一步步解析,帮助读者理解。 本文所使用的数据集:贷款.CSV。 读者需要具备的知识:基尼指数计算。 1 基于基尼指数的分类树构建算法 选择最优特征进行分裂: 对于决策树的每个节点,遍历数据集中的所有特征。对于每个特征,考虑其所有可能的
阅读全文
![基于基尼指数构建分类决策树[算法+示例]](https://img2024.cnblogs.com/blog/3436794/202409/3436794-20240907145036894-783251028.png)
摘要:
0 前言 本文主要介绍基尼指数的计算公式及计算方法,并举出相关例题帮助理解。 读者需要提前了解:信息熵。 数据集:贷款.CSV。 1 基尼指数简述 基尼指数(Gini Index)是一个在多个领域都有应用的重要指标,但其主要应用之一是在决策树算法中,用于衡量数据集的不纯度或混乱程度。 基尼指数也被称
阅读全文
![机器学习之——基尼指数的计算[例题]](https://img2024.cnblogs.com/blog/3436794/202409/3436794-20240906165306562-1550342001.png)
摘要:
0 前言 本文主要讲述了决策树C4.5算法构建原理并举例说明。 读者需要具备的知识有:信息熵、条件熵、信息增益、信息增益比。 本文所使用的数据集为:西瓜数据集 1.2节。 1 C4.5算法流程 准备数据集: 输入数据集包含多个样本,每个样本具有多个特征(属性)和一个目标类别标签。 设置阈值: 初始化
阅读全文

摘要:
0 前言 本文主要介绍决策树ID3算法,并举出构建示例帮助理解。 读者需要具备的知识:信息熵、条件熵、信息增益。 本文使用数据集为:游玩数据集 1.1节、西瓜数据集 1.2节。 1 ID3算法简述 ID3(Iterative Dichotomiser 3)算法是一种经典的决策树学习算法,由Ross
阅读全文

摘要:
0 前言 本文主要介绍决策树信息增益比的计算,并给出例子帮助读者理解。 读者需要具备:信息熵、条件熵、信息增益 相关知识。 本文使用数据集:游玩数据集 1.1节。 1 信息增益比计算公式 2 信息增益比计算 2.1 gR(play,outlook)的计算 根据信息增益(跳转)相关知识,得出: 特征o
阅读全文
![机器学习之——决策树信息增益比计算[程序+例题]](https://img2024.cnblogs.com/blog/3436794/202409/3436794-20240902212554754-916258275.png)
摘要:
0 前言 本文主要介绍信息增益的计算公式并举出若干例子帮助理解。 读者需要具备的知识有:信息熵、条件熵。 本文所示用的数据集为:游玩数据集 1.1节 1 信息增益计算公式 g(D,A)表示在条件A下对于目标变量D的信息增益。 H(D)表示随机变量D的信息熵。 H(D|A)表示在随机变量A条件下对于目
阅读全文
![机器学习之——决策树信息增益计算[程序+例题]](https://img2024.cnblogs.com/blog/3436794/202409/3436794-20240902175717138-1841773279.png)
摘要:
0 前言 本文主要介绍决策树条件熵的计算并给出若干例子帮助理解。 读者需要具备信息熵计算知识,若不了解请看:信息熵 1 条件熵 2 数据集 游玩数据集,请看:数据集 1.1节 3 条件熵的计算 使用所给游玩数据集。计算H(play|outlook)的条件熵(在Y随机变量为outlook条件下,X随机
阅读全文
![机器学习之——决策树条件熵计算[程序+例题]](https://img2024.cnblogs.com/blog/3436794/202409/3436794-20240901225317476-338937878.png)