随笔分类 - 机器学习
摘要：数据漂移的分类 第一种 叫做特征漂移或者是协变量漂移，它指的是在 $p(y|x)$ 不变的情况下，$p(x)$ 变化的情况。 比如我训练模型的时候用的主要是中年人的数据，但是在线上的主要用户却是青少年居多，那么很可能我没有那么好的数据 第二种叫做 label shift 也经常被叫做 prior s
阅读全文
摘要：1 介绍 拉普拉斯特征映射（Laplacian Eigenmaps）是一种不太常见的降维算法，它看问题的角度和常见的降维算法不太相同，是从局部的角度去构建数据之间的关系。具体来讲，拉普拉斯特征映射是一种基于图的降维算法，它希望相互间有关系的点（在图中相连的点）在降维后的空间中尽可能的靠近，从而在降维
阅读全文
摘要：1 前言 在学 LDA 之前，需要将其与自然语言主题模型进行区别开来。在 NLP 中， LDA 是隐含狄利克雷分布（Latent Dirichlet Allocation，简称LDA），是一种处理文档的主题模型。本文只讨论线性判别分析（LDA）。 2 LDA思想 基本思想：投影后类内方差最小，类间方
阅读全文
摘要：提出思路 自编码器最初提出是基于降维的思想，但是当隐层节点比输入节点多时，自编码器就会失去自动学习样本特征的能力，此时就需要对隐层节点进行一定的约束，与降噪自编码器的出发点一样，高维而稀疏的表达是好的，因此提出对隐层节点进行一些稀疏性的限值。稀疏自编码器就是在传统自编码器的基础上通过增加一些稀疏性约
阅读全文
摘要：前言 在任何有监督机器学习项目的模型构建阶段，我们训练模型的目的是从标记的示例中学习所有权重和偏差的最佳值。 如果我们使用相同的标记示例来测试我们的模型，那么这将是一个方法论错误，因为一个只会重复刚刚看到的样本标签的模型将获得完美的分数，但无法预测任何有用的东西 - 未来的数据，这种情况称为过拟合。
阅读全文
摘要：介绍 维基百科上说，“Hyperparameter optimization或tuning是为学习算法选择一组最优的hyperparameters的问题”。 ML工作流中最困难的部分之一是为模型找到最好的超参数。ML模型的性能与超参数直接相关。超参数调优的越好，得到的模型就越好。调优超参数可能是非常
阅读全文
摘要：样本 正样本：即属于某一类（一般是所求的那一类）的样本。在本例中是及格的学生。 负样本：即不属于这一类的样本。在本例中是不及格的学生。 y_pred = [0, 0, 0, 0, 0, 0, 1, 1, 1, 1] y_true = [0, 0, 0, 0, 1, 1, 1, 1, 0, 0] 上述
阅读全文
摘要：性能度量 对于分类任务，错误率和精度是最常用的两种性能度量： 错误率：分错样本占样本总数的比例 精度：分对样本占样本总数的比率 错误率（error rate ） $E(f ; D)=\frac{1}{m} \sum \limits _{i=1}^{m} \mathbb{I}\left(f\left(
阅读全文
摘要：消融实验（Ablation experiment） 消融实验类似于 "控制变量法” 。 假设在某目标检测系统中，使用了A，B，C，取得了不错的效果，但是这个时候你并不知道这不错的效果是由于A，B，C中哪一个起的作用，于是你保留A，B，移除C进行实验来看一下C在整个系统中所起的作用。
阅读全文
摘要：在本节中，我们假设前馈网络提供了一组定义为 $h = f(x; θ)$ 的隐藏特征。输出层的作用是随后对这些特征进行一些额外的变换来完成整个网络必须完成的任务。 1 线性输出单元 一种简单的输出单元是基于仿射变换的输出单元，仿射变换不具有非线性。这些单元往往被直接称为线性单元。 给定特征 $h$，线
阅读全文
摘要：收敛速度 这里首先需要给收敛速度做一个诠释。模型的最优解即是模型参数的最优解。通过逐轮迭代，模型参数会被更新到接近其最优解。这一过程中，迭代轮次多，则我们说模型收敛速度慢；反之，迭代轮次少，则我们说模型收敛速度快。 参数更新 深度学习一般的学习方法是反向传播。简单来说，就是通过链式法则，求解全局损失
阅读全文
摘要：softmax回归 前面介绍了线性回归模型适用于输出为连续值的情景。在另一类情景中，模型输出可以是一个像图像类别这样的离散值。对于这样的离散值预测问题，我们可以使用诸如 softmax 回归在内的分类模型。和线性回归不同，softmax 回归的输出单元从一个变成了多个，且引入了 softmax 运算
阅读全文
摘要：线性回归理论部分《机器学习——线性回归》 1 线性回归 线性回归输出是一个连续值，因此适用于回归问题。回归问题在实际中很常见，如预测房屋价格、气温、销售额等连续值的问题。与回归问题不同，分类问题中模型的最终输出是一个离散值。我们所说的图像分类、垃圾邮件识别、疾病检测等输出为离散值的问题都属于分类问题
阅读全文
摘要：1 批量梯度下降 在经典的随机梯度下降算法（批量梯度下降）中，迭代下降公式是 $x_{t+1}=x_{t}-\alpha \nabla f\left(x_{t}\right)$ 以一元线性回归的目标函数为例 $\sum \limits _{i=1}^{n}\left(a x_{i}+b-y_{i}\
阅读全文
摘要：“没有测量，就没有科学。”这是科学家门捷列夫的名言。在计算机科学特别是机器学习领域中，对模型的评估同样至关重要。只有选择与问题相匹配的评估方法，才能快速地发现模型选择或训练过程中出现的问题，迭代地对模型进行优化。模型评估主要分为离线评估和在线评估两个阶段。针对分类、排序、回归、 序列预测等不同类型的
阅读全文
摘要：1 引入 俗话说，“巧妇难为无米之炊”。在机器学习中，数据和特征便是“米”，模型和算法则是“巧妇”。没有充足的数据、合适的特征，再强大的模型结构也无法得到满意的输出。 特征工程，顾名思义，是对原始数据进行一系列工程处理，将其提炼为特征，作为输入供算法和模型使用。从本质上来讲，特征工程是一个表示和展现
阅读全文
摘要：1 损失函数、代价函数 与 目标函数 损失函数（Loss Function）：是定义在单个样本上的，是指一个样本的误差。 代价函数（Cost Function）：是定义在整个训练集上的，是所有样本误差的平均，也就是所有损失函数值的平均。 目标函数（Object Function）：是指最终需要优化的
阅读全文
摘要：1 交叉熵(Cross Entropy) 考虑一种情况，对于一个样本集，存在两个概率分布 $p(x)$ 和 $q(x)$，其中 $p(x)$ 为真实分布，$q(x)$ 为非真实分布。基于真实分布 $p(x)$ 我们可以计算这个样本集的信息熵也就是编码长度的期望为： $H(p)=-\sum \limi
阅读全文
摘要：Pretext task 可以理解为是一种为达到特定训练任务而设计的间接任务。 比如，要训练一个网络来对 ImageNet 分类，可以表达为 $f_{\theta}(x): x \rightarrow y$ ，目的是获得具有语义特征提取/推理能力的 $\theta$ 。假设有另外一个任务 (Pret
阅读全文
摘要：每次只选取1个样本，然后根据运行结果调整参数，这就是著名的随机梯度下降（SGD），而且可称为批大小（batch size）为 1 的 SGD。 批大小，就是每次调整参数前所选取的样本（称为mini-batch或batch）数量： 如果批大小为N，每次会选取N个样本，分别代入网络，算出它们分别对应的参
阅读全文