摘要：
记得先看之前的梯度下降文章！ 链式求导的核心来了，就高中数学知识： 代码实现： import numpy as np import matplotlib.pyplot as plt # Sigmoid 激活函数及其导数 def sigmoid(z): return 1 / (1 + np.exp(- 阅读全文
摘要：
cart决策树示例： 本文目标，仿照sklearn写一个cart树，但是仅仅使用max_depth作为剪枝依据。 我们本次实现cart分类，因此用到gini指数： 为了帮助理解： 好了，理解了基尼指数。我们看下cart树的构建步骤： 注意还有几个细节： cart树每个treenode存储了哪些数据？ 阅读全文
摘要：
先说熵的定义： 再看信息增益 信息增益是一种用于特征选择的指标，用于衡量特征对于数据集分类的贡献程度。它基于信息熵的概念，通过比较特征划分前后的信息熵差异来评估特征的重要性。信息熵是衡量数据集纯度的指标，表示数据集中的不确定性或混乱程度。信息熵越高，数据集的不确定性越大。 上述例子计算错误，gpt识 阅读全文
摘要：
K近邻算法是一种基于距离度量的数据分类模型，其基本做法是首先确定输入实例的[插图]个最近邻实例，然后利用这[插图]个训练实例的多数所属的类别来预测新的输入实例所属类别。 k最近邻（k-nearest neighbors，KNN）算法是一种基本的分类和回归算法。其基本原理如下：1. 训练阶段：将训练样 阅读全文