摘要：
独热编码 独热编码即 One-Hot 编码，又称一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。举个例子，假设我们有四个样本（行），每个样本有三个特征（列），如图： 我们的feature_1有两种可能的取值，比如是男/女， 阅读全文
摘要：
一. 最优化问题求解 1. 等式约束的极值求法 目标函数: , 引入Lagrange算子: 2. 不等式约束的极值求法 目标函数: 约束条件: 很多情况, 不等式约束条件可引入新变量转化为等式约束条件, 故上述问题可简化为: 3. 最优化问题分类 根据约束条件和目标函数的类型分为3类: 线性规划: 阅读全文
摘要：
0 前言 上”最优化“课，老师讲到了无约束优化的拉格朗日乘子法和KKT条件。 这个在SVM的推导中有用到，所以查资料加深一下理解。 1 无约束优化 对于无约束优化问题中，如果一个函数f是凸函数，那么可以直接通过f(x)的梯度等于0来求得全局极小值点。 为了避免陷入局部最优，人们尽可能使用凸函数作为优 阅读全文
摘要：
一、条件概率公式 举个例子，比如让你背对着一个人，让你猜猜背后这个人是女孩的概率是多少？直接猜测，肯定是只有５０％的概率，假如现在告诉你背后这个人是个长头发，那么女的概率就变为９０％。所以条件概率的意义就是，当给定条件发生变化后，会导致事件发生的可能性发生变化。 条件概率由文氏图出发，比较容易理解： 阅读全文
摘要：
前言 机器学习中的大部分问题都是优化问题，而绝大部分优化问题都可以使用梯度下降法处理，那么搞懂什么是梯度，什么是梯度下降法就非常重要！这是基础中的基础，也是必须掌握的概念！ 提到梯度，就必须从导数（derivative）、偏导数（partial derivative）和方向导数（directiona 阅读全文
摘要：
一. 简介 首先来看百度百科对最小二乘法的介绍：最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量 阅读全文
摘要：
什么是判别模型/Discriminative Models 咱们先不整那些难懂的数学公式，举两个例子 例子一 假设某手机有三个特征，我们的任务是预测某消费者是会购买还是不会购买该手机。所以判别模型是根据已经知道的一些先验知识，从购买和不够买这两种可能中挑选一个。 特征对决策的影响 运行流畅 购买的可 阅读全文
摘要：
贝叶斯估计、最大似然估计(MLE)、最大后验概率估计(MAP)这几个概念在机器学习和深度学习中经常碰到，读文章的时候还感觉挺明白，但独立思考时经常会傻傻分不清楚(😭)，因此希望通过本文对其进行总结。 2. 背景知识 注：由于概率与数理统计需要了解的背景知识很多，因此这里只列出了部分内容，且写的较简 阅读全文