随笔分类 - 机器学习
摘要：一、基于sklearn代码 import csv import pickle import logging import numpy as np from sklearn.svm import SVR logging.basicConfig(level=logging.INFO) logger =
阅读全文
摘要：https://zhuanlan.zhihu.com/p/377620800 一、前言 克里金(Kriging)模型是贝叶斯优化的基础，贝叶斯优化在如今的工程中应用得非常广泛。我自己的研究方向也跟克里金模型有关，最近一直在研究克里金模型是如何推导出来的。 在看文献的过程中，我非常疑惑。因为从文献来看
阅读全文
摘要：高斯过程 Gaussian Processes 是概率论和数理统计中随机过程的一种，是多元高斯分布的扩展，被应用于机器学习、信号处理等领域。本文对高斯过程进行公式推导、原理阐述、可视化以及代码实现，介绍了以高斯过程为基础的高斯过程回归 Gaussian Process Regression 基本原理
阅读全文
摘要：K-means与K-means++： 原始K-means算法最开始随机选取数据集中K个点作为聚类中心， 而K-means++按照如下的思想选取K个聚类中心： 假设已经选取了n个初始聚类中心(0<n<K)，则在选取第n+1个聚类中心时：距离当前n个聚类中心越远的点会有更高的概率被选为第n+1个聚类中心
阅读全文
摘要：在这篇文章中，我将概述一些在PyTorch中加速深度学习模型训练时改动最小，影响最大的方法。对于每种方法，我会简要总结其思想，并估算预期的加速度，并讨论一些限制。我将着重于传达最重要的部分，并为每个部分给出额外的一些资源。大多数情况下，我会专注于可以直接在PyTorch中进行的更改，而不需要引入额外
阅读全文
摘要：一、概述 数据集较小时（小于2W）建议num_works不用管默认就行，因为用了反而比没用慢。当数据集较大时建议采用，num_works一般设置为（CPU线程数+-1）为最佳，可以用以下代码找出最佳num_works（注意windows用户如果要使用多核多线程必须把训练放在if __name__ =
阅读全文
摘要：一、基本概念 当说到召回率的时候就说到了混淆矩阵。 再回顾一下召回率吧，案例中有100个正例，猜中(预测对)了59个，我们就说召回率为59%。 召回率就是猜中率。 当时也讲到，正例和反例，加上猜中和猜错，总共有四种情况 所谓召回率，仅仅是其中的四分之一。在条件允许(资本充足)的情况下，我们关心的，也
阅读全文
摘要：介绍 准确率、召回率、精确度和F1分数是用来评估模型性能的指标。尽管这些术语听起来很复杂，但它们的基本概念非常简单。它们基于简单的公式，很容易计算。 这篇文章将解释以下每个术语： 为什么用它 公式 不用sklearn来计算 使用sklearn进行计算 在本教程结束时，我们将复习混淆矩阵以及如何呈现它
阅读全文
摘要：最近在做交叉熵的魔改，所以需要好好了解下交叉熵，遂有此文。 关于交叉熵的定义请自行百度，相信点进来的你对其基本概念不陌生。 本文将结合PyTorch，介绍离散形式的交叉熵在二分类以及多分类中的应用。注意，本文出现的二分类交叉熵和多分类交叉熵，本质上都是一个东西，二分类交叉熵可以看作是多分类交叉熵的一
阅读全文
摘要：1. 介绍 1.1. 论文提出的背景 虽然在一般情况下，我们不会去区分训练和部署使用的模型，但是训练和部署之间存在着一定的不一致性: 在训练过程中，我们需要使用复杂的模型，大量的计算资源，以便从非常大、高度冗余的数据集中提取出信息。在实验中，效果最好的模型往往规模很大，甚至由多个模型集成得到。而大模
阅读全文
摘要：1，概述 任务型对话系统越来越多的被应用到实际的场景中，例如siri，阿里小密这类的产品。通常任务型对话系统都是基于pipline的方式实现的，具体的流程图如下： 整个pipline由五个模块组成：语音识别；自然语言理解；对话管理；自然语言生成；语音合成。现在越来越多的产品还融入了知识库，主要是在对
阅读全文
摘要：PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的
阅读全文
摘要：聚类（Clustering），顾名思义就是“物以类聚，人以群分”，其主要思想是按照特定标准把数据集聚合成不同的簇，使同一簇内的数据对象的相似性尽可能大，同时，使不在同一簇内的数据对象的差异性尽可能大。通俗地说，就是把相似的对象分到同一组。 聚类算法通常不使用训练数据，只要计算对象间的相似度即可应用算
阅读全文
摘要：一、基本概念 注意力模型最近几年在深度学习各个领域被广泛使用，无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中，都很容易遇到注意力模型的身影。所以，了解注意力机制的工作原理对于关注深度学习技术发展的技术人员来说有很大的必要。 人类的视觉注意力 从注意力模型的命名方式看，很明显其借鉴了人
阅读全文
摘要：https://spaces.ac.cn/archives/7234 https://fyubang.com/2019/10/15/adversarial-train/ 一、KERAS实现 当前，说到深度学习中的对抗，一般会有两个含义：一个是生成对抗网络（Generative Adversarial
阅读全文