CART算法介绍（转）
摘要：决策树虽然有很多种算法，但是我们基本使用的是CART算法，所以对于决策树，我建议主要深究CART算法就可以 了 一、CART算法介绍 CART（Classification And Regression Tree），看英文名字分类和回归树，就知道该算法既可以用作分类也可以用作回归，我们sklearn
阅读全文
posted @
2021-04-21 16:39
小小喽啰
阅读(2388)
推荐(0) 编辑
决策树信息熵（entropy），基尼系数（gini）
摘要：总是很容易忘记一些专业术语的公式，可以先理解再去记住 1.信息熵（entropy） 反正就是先计算每一类别的占比，然后再乘法，最后再将每一类加起来 def entropy(sr): """计算信息熵，以一个明细的观测点序列为输入 \n 参数: sr: series, 一列明细数据，非统计好的各类别占
阅读全文
posted @
2021-02-24 20:29
小小喽啰
阅读(4218)
推荐(0) 编辑
PCA主成分分析（降维）（转）
摘要：2021-04-26增加 一、PCA所需知识 1. 向量表示与基变换 我们先来介绍些线性代数的基本知识。 1.1 内积 两个向量的 A 和 B 内积我们知道形式是这样的： 内积运算将两个向量映射为实数，其计算方式非常容易理解，但我们无法看出其物理含义。接下来我们从几何角度来分析，为了简单起见，我们假
阅读全文
posted @
2020-09-07 15:19
小小喽啰
阅读(831)
推荐(0) 编辑
svm
摘要：一、SVM 支持向量机（SupportVector Machines）的主要思想是：SVM试图寻找一个超平面来对样本进行分割，把样本中的正例和反例用超平面分开，但是不是很敷衍地简单的分开，而是尽最大的努力使正例和反例之间的间隔margin最大。这样它的分类结果才更加可信，而且对于未知的新样本才有很好
阅读全文
posted @
2020-09-07 10:38
小小喽啰
阅读(225)
推荐(0) 编辑
KNN（K近邻法）算法原理
摘要：一、K近邻概述 k近邻法（k-nearest neighbor, kNN）是一种基本分类与回归方法（有监督学习的一种），KNN(k-nearest neighbor algorithm)算法的核心思想是如果一个样本在特征空间中的k（k一般不超过20）个最相邻的样本中的大多数属于某一个类别，则该样本也
阅读全文
posted @
2020-09-04 10:45
小小喽啰
阅读(3229)
推荐(0) 编辑
L1和L2正则化
摘要：一、损失函数的l1、l2正则化 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作 ℓ1-norm 和ℓ2-norm，中文称作 L1正则化 和 L2正则化，或者 L1范数 和 L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对
阅读全文
posted @
2020-09-03 16:11
小小喽啰
阅读(419)
推荐(0) 编辑
||x|| 范数
摘要：经常会遇到一些函数表达式里面有|| ||，有的甚至带有上下标，不明白这个是什么意思，查阅资料才明白里面的意思，下面解释一些这几种用法 1.L1-norm（L1范数） X的 L1-norm 的定义为： 两个向量或矩阵的 L1-norm 为 在计算机视觉科学家眼中，它叫做 绝对偏差和 （Sum of A
阅读全文
posted @
2020-09-03 15:21
小小喽啰
阅读(1160)
推荐(1) 编辑
支持向量机算法
摘要：1.什么是支持向量机2.支持向量机的推导3.SVM的损失函数4.SVM的核函数有哪些，核函数的作用是什么5.硬间隔和软间隔6.SVM可以做多分类吗，怎么做7.SVM可以做回归吗，怎么做8.SVM的对偶问题，为什么要把原问题转化为对偶问题9.KKT限制条件有哪些 一、函数间隔与几何间隔 在正式介绍SV
阅读全文
posted @
2020-08-25 16:10
小小喽啰
阅读(378)
推荐(0) 编辑
决策树原理的python实现
摘要：我们已经知道ID3算法是基于信息增益来实现的，下面就根据原理写出代码： # -*- coding: utf-8 -*- """ Created on Tue Aug 11 10:12:48 2020 @author: Admin """ from math import log import ope
阅读全文
posted @
2020-08-25 09:56
小小喽啰
阅读(331)
推荐(0) 编辑
决策树算法算法介绍
摘要：目录 概念 决策树的学习过程 决策树三种常用方法 决策树算法的参数 决策树的总结 一、概念 决策树(decision tree)是一种基本的分类与回归方法。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上
阅读全文
posted @
2020-08-24 10:14
小小喽啰
阅读(11162)
推荐(0) 编辑
