机器学习 - 随笔分类 - ZhiboZhao

机器学习之决策树

摘要：机器学习之决策树的构建与剪枝最近在面试中被问到决策树的知识，当时一脸懵逼，内心OS：“什么？我明明找的是计算机视觉算法岗位，决策树什么的除了刚入学看过一点，现在也全忘了啊！”，于是面试毫无意外的挂掉了。不过一码归一码，我下决心再把机器学习的相关知识复习起来，增加自己相关能力的同时以备不时之需。好了阅读全文

posted @ 2021-09-13 17:01 ZhiboZhao 阅读(487) 评论(1) 推荐(1) 编辑

聚类算法与K-means实现

摘要：聚类算法与K-means实现一、聚类算法的数学描述：区别于监督学习的算法（回归，分类，预测等），无监督学习就是指训练样本的 label 未知，只能通过对无标记的训练样本的学习来揭示数据的内在规律和性质。无监督学习任务中研究最多的就是聚类算法（clustering）。我们假定一个样本集： | 编号阅读全文

posted @ 2021-09-08 15:30 ZhiboZhao 阅读(454) 评论(1) 推荐(1) 编辑

神经网络基础篇

摘要：本章内容主要描述了在机器学习中的前向传播，反向求导的原理与计算，常见的激活函数和损失函数，以及在网络训练过程中过拟合，梯度消失/爆炸等产生的原理以及解决方案。本人也在学习过程中，如果有错误之处，请各位多多指教。 1.1 神经网络的前向传播我们首先定义如下图所示的神经网络，为了简单起见，所有的层都不阅读全文

posted @ 2021-08-30 14:43 ZhiboZhao 阅读(496) 评论(0) 推荐(2) 编辑

深度学习中的优化方法（二）

摘要：在上一篇文章中深度学习中的优化方法（一） - ZhiboZhao - 博客园 (cnblogs.com) 我们主要讲到了一维函数

f (x) : R \to R

$f(x):R \rightarrow R$ 的优化方法，在实际情况中，待优化的函数往往是多维的

f (x) : R^{n} \to R

$f(x):R^{n} \rightarrow R$ ，因此本文阅读全文

posted @ 2021-08-04 13:31 ZhiboZhao 阅读(836) 评论(0) 推荐(0) 编辑

一文详解机器学习的判别指标(精准率，召回率)

摘要：其实大部分的评价指标比如误识率，拒识率等都是根据TP，FP，FN，TN计算出来的，为了方便起见，把他们的关系表示为下表： **为了更好地理解，我把正负样本记做好人和坏人，那么:** 1. TP表示预测为正类的样本中实际也为正样本的个数（本来是好人，预测也是好人） 2. FP表示预测为正类的样本中实际阅读全文

posted @ 2021-06-30 15:31 ZhiboZhao 阅读(1014) 评论(4) 推荐(0) 编辑

信息熵，交叉熵与KL散度

摘要：一、信息熵若一个离散随机变量

X

$X$ 的可能取值为

X = {x_{1}, x_{2}, . . ., x_{n}}

$X = \{ x_{1}, x_{2},...,x_{n}\}$ ，且对应的概率为：

p (x_{i}) = p (X = x_{i})

$p(x_{i}) = p(X=x_{i})$ 那么随机变量

X

$X$ 的熵定义为： \[ H(X) = -\sum_{i=1}^{n}p(x 阅读全文

posted @ 2021-06-29 21:49 ZhiboZhao 阅读(360) 评论(0) 推荐(0) 编辑

线性判别分析之python代码分析

摘要：前几天主要更新了一下机器学习的相关理论，主要介绍了感知机，SVM以及线性判别分析。现在用代码来实现一下其中的模型，一方面对存粹理论的理解，另一方面也提升一下代码的能力。本文就先从线性判别分析开始讲起，不熟悉的可以先移步至线性判别分析（Linear Discriminant Analysis, LDA 阅读全文

posted @ 2021-06-26 23:22 ZhiboZhao 阅读(795) 评论(0) 推荐(0) 编辑

线性判别分析（Linear Discriminant Analysis, LDA）

摘要：一、线性判别器的问题分析线性判别分析（Linear Discriminant Analysis, LDA）是一种经典的线性学习方法，在二分类问题上亦称为 "Fisher" 判别分析。与感知机不同，线性判别分析的原理是降维，即：给定一组训练样本，设法将样本投影到某一条直线上，使相同分类的点尽可能地接阅读全文

posted @ 2021-06-26 19:57 ZhiboZhao 阅读(1177) 评论(0) 推荐(0) 编辑

感知机与支持向量机 (SVM)

摘要：感知机与SVM一样都是使用超平面对空间线性可分的向量进行分类，不同的是：感知机的目标是尽可能将所有样本分类正确，这种策略指导下得出的超平面可能有无数个，然而SVM不仅需要将样本分类正确，还需要最大化最小分类间隔，对SVM不熟悉的朋友可以移步我另一篇文章：支持向量机(SVM)之硬阈值 - ZhiboZ 阅读全文

posted @ 2021-06-24 23:22 ZhiboZhao 阅读(1658) 评论(0) 推荐(1) 编辑

支持向量机(SVM)之硬阈值

摘要：支持向量机 ( support vector machine, SVM ) 是使用超平面来对给定的 p 维向量进行分类的非概率二元线性分类器。一、超平面 ( hyperplane ) 在一个p维的输入空间，超平面就是

p - 1

$p-1$ 维的子空间。比如：在一个二维输入的空间，超平面就是一维，也就是直阅读全文

posted @ 2021-06-24 00:34 ZhiboZhao 阅读(1729) 评论(0) 推荐(0) 编辑

矩阵求导

摘要：上一篇文章从数学角度上分析了过拟合产生的原因以及在损失函数中添加正则化从而在一定程度上避免过拟合，并从MLE和MAP两个角度来对线性回归进行建模，进而求解。然而在求解过程中，涉及到一些矩阵求导的基础知识，由于篇幅原因，现在本篇文章中做一个简要说明。对一元函数

y = f (x)

$y=f(x)$ ，输入是一维变量（阅读全文

posted @ 2021-06-22 13:30 ZhiboZhao 阅读(567) 评论(0) 推荐(0) 编辑

从线性回归来理解正则化

摘要：本文主要以线性回归为切入点，分析了过拟合出现的原因以及正则化的理解，并从MLE和MAP两个方面重新对线性回归进行了求解，揭示了MLE，MAP与正则化之间的关系。一、最小二乘的简要回顾假设输入空间为： \(x_{m \times n} = (x_{1}, x_{2},...,x_{i},...,x 阅读全文

posted @ 2021-06-21 23:58 ZhiboZhao 阅读(502) 评论(0) 推荐(0) 编辑

统计学习方法概论

摘要：统计学习（statistical learning）通过基于数据构建的概率统计模型并将其用于对数据进行预测。通俗点讲：统计学习从数据数据出发，通过假设同类数据具有一定的统计规律性，抽象出数据的模型，然后对数据进行分析和预测。统计学习通常分为监督学习，无监督学习，半监督学习和强化学习等，其中，监督学习阅读全文

posted @ 2021-06-21 20:41 ZhiboZhao 阅读(255) 评论(2) 推荐(0) 编辑

ZhiboZhao

随笔分类 - 机器学习

公告

搜索

常用链接

积分与排名

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论