摘要:
记得先看之前的梯度下降文章! 链式求导的核心来了,就高中数学知识: 代码实现: import numpy as np import matplotlib.pyplot as plt # Sigmoid 激活函数及其导数 def sigmoid(z): return 1 / (1 + np.exp(- 阅读全文
摘要:
cart决策树示例: 本文目标,仿照sklearn写一个cart树,但是仅仅使用max_depth作为剪枝依据。 我们本次实现cart分类,因此用到gini指数: 为了帮助理解: 好了,理解了基尼指数。我们看下cart树的构建步骤: 注意还有几个细节: cart树每个treenode存储了哪些数据? 阅读全文
摘要:
先说熵的定义: 再看信息增益 信息增益是一种用于特征选择的指标,用于衡量特征对于数据集分类的贡献程度。它基于信息熵的概念,通过比较特征划分前后的信息熵差异来评估特征的重要性。信息熵是衡量数据集纯度的指标,表示数据集中的不确定性或混乱程度。信息熵越高,数据集的不确定性越大。 上述例子计算错误,gpt识 阅读全文
摘要:
K近邻算法是一种基于距离度量的数据分类模型,其基本做法是首先确定输入实例的[插图]个最近邻实例,然后利用这[插图]个训练实例的多数所属的类别来预测新的输入实例所属类别。 k最近邻(k-nearest neighbors,KNN)算法是一种基本的分类和回归算法。其基本原理如下:1. 训练阶段:将训练样 阅读全文