刷新
决策树之——C4.5算法及示例

0 前言 本文主要讲述了决策树C4.5算法构建原理并举例说明。 读者需要具备的知识有:信息熵、条件熵、信息增益、信息增益比。 本文所使用的数据集为:西瓜数据集 1.2节。 1 C4.5算法流程 准备数据集: 输入数据集包含多个样本,每个样本具有多个特征(属性)和一个目标类别标签。 设置阈值: 初始化 ...

决策树之——ID3算法及示例

0 前言 本文主要介绍决策树ID3算法,并举出构建示例帮助理解。 读者需要具备的知识:信息熵、条件熵、信息增益。 本文使用数据集为:游玩数据集 1.1节、西瓜数据集 1.2节。 1 ID3算法简述 ID3(Iterative Dichotomiser 3)算法是一种经典的决策树学习算法,由Ross ...

Datawhale X 李宏毅苹果书 AI夏令营 Task3 批量归一化、卷积神经网络、自注意力机制原理 笔记

博主头像 神经网络训练不起来怎么办(5):批次标准化(Batch Normalization)简介_哔哩哔哩_bilibili Task3:《深度学习详解》- 3.7 批量归一化 - **产生不好训练的误差表面的原因**:输入特征不同维度的值范围差距大可能导致误差表面不好训练,如输入值小对损失影响小,输入值大 ...

机器学习之——决策树信息增益比计算[程序+例题]

0 前言 本文主要介绍决策树信息增益比的计算,并给出例子帮助读者理解。 读者需要具备:信息熵、条件熵、信息增益 相关知识。 本文使用数据集:游玩数据集 1.1节。 1 信息增益比计算公式 2 信息增益比计算 2.1 gR(play,outlook)的计算 根据信息增益(跳转)相关知识,得出: 特征o ...

机器学习之——决策树信息增益计算[程序+例题]

0 前言 本文主要介绍信息增益的计算公式并举出若干例子帮助理解。 读者需要具备的知识有:信息熵、条件熵。 本文所示用的数据集为:游玩数据集 1.1节 1 信息增益计算公式 g(D,A)表示在条件A下对于目标变量D的信息增益。 H(D)表示随机变量D的信息熵。 H(D|A)表示在随机变量A条件下对于目 ...

机器学习之——决策树条件熵计算[程序+例题]

0 前言 本文主要介绍决策树条件熵的计算并给出若干例子帮助理解。 读者需要具备信息熵计算知识,若不了解请看:信息熵 1 条件熵 2 数据集 游玩数据集,请看:数据集 1.1节 3 条件熵的计算 使用所给游玩数据集。计算H(play|outlook)的条件熵(在Y随机变量为outlook条件下,X随机 ...

Datawhale X 李宏毅苹果书 AI夏令营 Task2笔记

博主头像 Task2.1:《深度学习详解》- 3.3&4&5 自适应学习率的概念和方法,包括AdaGrad、RMSProp和Adam等优化器。 - **训练网络时的梯度和损失变化**:训练网络时损失可能不再下降,但梯度范数不一定小,梯度可能在山谷壁间“震荡”,多数训练未到临界点就停止。- **不同学习率的影响 ...

模拟退火模型 —— 入门案例

博主头像 简介 模拟退火算法(Simulated Annealing, SA) 是一种概率型全局优化算法,它受到物理退火过程的启发。在固体材料的退火过程中,材料被加热到一定温度后缓慢冷却,其内部结构逐渐趋于稳定,最终达到能量最低的平衡状态。模拟退火算法正是模仿这一过程,用于寻找数学问题中的全局最优解。 特点 ...

决策树熵计算程序[Python+CSV格式数据集]

0 前言 为了便于学习决策树信息熵相关知识,笔者编写了一个专门用于计算变量信息熵、条件熵、信息增益、信息增益比的程序,方便提升学习效率。 程序中包含了计算过程的数据和详细信息以及最终计算结果。 编程语言为Python,搭配CSV数据格式使用。 1 数据集 1.1 游玩数据集 根据天气状况判断是否出去 ...

机器学习之——决策树信息熵计算[程序+例题]

0 前言 本文主要讲述了决策树背后的信息熵的公式含义及计算方式,并列举出多道例题帮助理解。 1 信息熵的定义 1.1 信息熵公式 笔者使用下图(1-1)直观理解信息熵的含义。 信息熵越大,表示该随机变量的不确定性越高。对于均匀分布,信息熵达到最大值。 1.2 证明:对于均匀分布,信息熵最大 笔者用一 ...

Datawhale X 李宏毅苹果书 AI夏令营 Task1.2 笔记

博主头像 《深度学习详解》3.2节中关于批量和动量的主要内容总结: 批量的概念:在深度学习训练过程中,数据不是一次性全部用于计算梯度,而是被分成多个小批量(batch),每个批量包含一定数量的数据。每个批量的损失函数用于计算梯度并更新模型参数。 批量大小对梯度下降法的影响: 两种极端情况: 批量梯度下降法(B ...

Spherical Voxelization

博主头像 介绍了球面体素化的过程,包括重要的类和方法,如ConvertToSphericalVoxel和spherical_voxel_optimized,详细解释了参数及其作用。球面体素化通过将点云转换为球面坐标系,利用自适应采样权重来平衡不同纬度区域的点密度,从而有效捕捉几何特征。文中还提到C++绑定的s... ...

快手 内推码:TYORVzmsw 秋招 应届生/实习生 真正本人内推 已有多人在我内推之后,接连顺利通过了HR筛选、用人部门筛选、面试!

内推码:TYORVzmsw 校园招聘岗位列表:https://campus.kuaishou.cn/#/campus/jobs?code=TYORVzmsw 真正的本人内部推荐! 已有多人在我内推之后,接连顺利通过了HR筛选、用人部门筛选、面试! 快手员工来浅浅发一波内推码~ 快手的校园招聘和实习生 ...

KNN(K近邻)算法之——KD-Tree构建及查找原理

0 前言 本文主要讲解KNN算法中用于快速检索最近元素的KD树的构建及查找原理。 为了达到最佳阅读效果,请读者按照本文顺序阅读,文章使用了大量图片帮助读者理解。 1 背景 1.1 为什么要使用KD-Tree? k近邻法(KNN)最简单的实现方法是线性扫描。这时要计算输入实例与每一个训练实例的距离。当 ...

优化器Adam在非凸情况下证明为什么要用期望平方梯度范数$E[||\nabla f(x_k)||^2]$这个指标?

博主头像 如下内容由chatgpt生成 在非凸优化问题中,使用期望平方梯度范数 ( E[|\nabla f(x_k)|^2] ) 作为收敛性分析的指标有几个重要原因。以下是详细的解释: 1. 非凸优化问题的复杂性 在非凸优化中,目标函数 ( f(x) ) 可能存在多个局部最优解,甚至是鞍点、平坦区域等复杂的几 ...

人工神经网络:竞争型学习

博主头像 竞争学习机制是无监督学习中的一种方法,它通过大量神经元的竞争最终得出给定输入的推理输出,并以类似在线学习的方式动态调整参数,这类网络通常是其他神经网络中的子网络。 ...

机器学习的数学基础--微积分

博主头像 微积分运算在机器学习领域扮演着至关重要的角色,它不仅是许多基础算法和模型的核心,还深刻影响着模型的优化、性能评估以及新算法的开发。 掌握微积分,不仅让我们多会一种计算方式,也有助于理解各种机器学习算法和模型是如何寻找最优参数的。 1. 为什么需要微积分? 也许有些人会觉得微积分很难,这大概是因为我们 ...

【3DGS】从新视角合成到3D_Gaussian_Splatting

博主头像 @目录引言:什么是新视角合成任务定义一般步骤NeRF的做法NeRF的三维重建NeRF的渲染3DGS的三维重建从一组图片估计点云高斯点云模型球谐函数参数优化损失函数和参数优化高斯点的数量控制(Adaptive Density Control)新的问题3DGS的渲染:快速可微光栅化3DGS的限制 引言: ...

<1···456···11>