MarisaMagic

摘要： 1. 数字图像处理基础知识 1.1 图像数字化及表达 1.1.1 图像数字化 将代表图像的 连续（模拟）信号 转换为 离散（数字）信号 的过程。 1.1.2 图像表达 任一幅图像，根据它的光强度(亮度、密度或灰度)的空间分布，均可以用下面的函数形式来表达： \[I = f(x, y, z, \lam 阅读全文

摘要： 1. 数字图像处理及特点 1.1 基本概念 图 物体反射或者透射电磁波的分布 像 人的视觉系统对接收的图信息在大脑中形成的印象 图像 “图”和“像”的结合，可以直接或间接作用于人的视觉系统而产生的视知觉实体 图像处理 模拟图像处理 也称光学图像处理，是利用 光学透镜或光学照相方法 对模拟图像进行的处 阅读全文

摘要： 机器学习基础 1. 基础概念和术语 样本（\(\text{sample}\)）/ 实例(\(\text{instance}\)) 我们获得的数据集中的一条数据，被称为一个 样本（\(\text{sample}\)）/ 实例(\(\text{instance}\))，在不存在数据缺失的情况下，所有样本 阅读全文

摘要： KNN 1. KNN 算法 （\(k\) 近邻） \(k\) 近邻学习 (\(\text{k-nearest} \; \text{neighbor}, \; k\text{-NN}\)) 是一种常用的监督学习方法，思路非常简单：给定一个样本数据集，对于每个输入的测试样本，在训练集中找到与该测试样本 阅读全文

摘要： SVM 支持向量机 1. 线性 SVM 1.1 线性可分问题 给定一个训练样本集 \(D = \{(x_1, y_1), (x_2, y_2), ... , (x_n, y_n)\}, \; y_i \in \{-1, +1\}\)。假设两个点集 \(D_0\) 和 \(D_1\)，且 \(D_0 阅读全文

摘要： PCA 主成分分析 1. 特征值分解 1.1 特征值分解的前提 矩阵是 方阵 矩阵是 可对角化的，即通过相似变化转化为对角矩阵。（相似变换 不会改变矩阵的特征值和特征向量 ） 矩阵的特征向量 线性无关，保证了特征值分解的 唯一性。 1.2 特征值分解 给定一个矩阵 \(A \in \mathbb{R 阅读全文

摘要： 岭回归、LASSO回归 1. 岭回归 1.1 岭回归 L2正则化 在之前的 中，使用 最小二乘法求解线性回归问题 时，讨论到了 \(X^TX\) 是否可逆。 最小二乘法得到的解析解为： \[\theta = (X^TX)^{-1}X^Ty \]此时只有 \(X\) 列满秩 才有解，即 \(\text 阅读全文

摘要： BGD, SGD, MBGD 1. BGD 批量梯度下降法（Batch Gradient Descent） 1.1 批量梯度下降法介绍 在 梯度下降法 每次迭代中，将 所有样本 用来进行参数 \(\theta\) （梯度）的更新，这其实就是 批量梯度下降法。 批量梯度下降法 的 损失函数表达式： \ 阅读全文

摘要： Grandient Descent 1. 梯度下降法 1.1 梯度与梯度下降 对于 一元函数 来说，梯度就是函数的导数；对于 多元函数 来说，梯度是一个由函数所有 偏微分 组成的向量。 梯度下降 是通过一步步迭代，使得所有 偏微分 的值达到最低。 可以以简单的 一元二次函数 \(y = (x - 1 阅读全文

摘要： Linear Regression 1. 一元线性回归 定义一个一次函数如下： \[y = \theta_0 + \theta_1 x \]其中 \(\theta\) 被称为函数的 参数。显然在坐标图上，这个函数的图像是一条直线，这也是 线性回归 中的 线性 含义所在。 只有 一个 \(x\) 来预 阅读全文