随笔分类 - 机器学习及算法
摘要：import random import torch import torch.nn as nn import matplotlib.pyplot as plt import numpy as np import math from torch.utils.data import DataLoade
阅读全文
摘要：图像拼接、融合是全景拼接的基础操作，opencv库提供了stitch方法，该方法相当完备，就是速度有点慢。 我也实现了一个类似的方法，其流程为：特征提取、特征匹配、透视变换、掩膜生成、羽化融合。 按羽化算法，如下所示，两图交集区域是图像融合的区域，某点距离融合边界（属于图像a）越远，图像a在此点的融
阅读全文
摘要：帕累托最优是一个很有趣的方法，你可以用它来做深度学习的多目标任务优化，也可以用于对比多个模型的性能。 详解：多目标优化之帕累托最优 - 知乎 (zhihu.com) 一、模型评价 上图所示，有ABCD四个系统，稳定性和准确性是评价系统性能的指标。这是很明显的，D在所有指标上都完全优于A；C稳定性强于
阅读全文
摘要：一、维度灾难 维度灾难指的是当样本维度过高时，发生过拟合，验证集结果变差。 样本维度越高，能够提供的信息就越多，但是其中有可能会提供一些无关的信息。 而且随着维度越高，样本集在高维空间就会出现稀疏性，简单来说，就是需要更多的样本来填补这个空间。 上图所示，纬度高确实能带来一定提升，但是如果过高，就会
阅读全文
摘要：旅行商问题是一个很经典的图论问题。 不重复的旅行商问题用数学语言叙述如上所示，式中xij表示节点i到节点j，cij则表示节点i到节点j的路径长度；第一个约束保证一个节点只出发一次，第二个约束保证一个节点值到达一次。 解决非对称旅行商问题的常用方法是指派算法。指派算法的实质是匈牙利算法，需要寻找增广路
阅读全文
摘要：最近在看自编码器相关的文章，我对这种算法的原理产生了极大的疑惑，为什么选择loss作为判断异常的标准呢？ 我想，原作者肯定是这么想的： 1）只输入正常数据，那么模型将只会学习到正常数据的分布。推理时，模型可以很好地重构正常信号，正常信号引起的loss值会很小。 2）模型没有学习到异常数据的分布，也不
阅读全文
摘要：高斯混合模型是EM算法的优秀实践，表达形式也十分简单，但是其推导确实有点复杂。 推荐几篇不错的文章： (26条消息) ML-朴素贝叶斯-先验分布/后验分布/似然估计_特征条件独立性假设_透明的胡萝卜的博客-CSDN博客 （此篇文章介绍了一些朴素贝叶斯基本知识，建议先看） 高斯混合模型(GMM) -
阅读全文
摘要：seq2seq中的注意力机制解决了长期梯度消失的问题，LSTM只解决了一部分长短期问题。 transformer中采用的自注意力机制多少借鉴该方法，其最核心的公式如下图所示。 Attention机制详解（一）——Seq2Seq中的Attention - 知乎 (zhihu.com) Q、K、V分别代
阅读全文
摘要：最近在看vae的异常检测，对VAE有些地方不是很懂。所以去找了一些文章，查明和解答了这些问题。 （1）vae的作用是什么？ vae的主要作用是使AE中的潜变量变为潜变量分布，提高了生成能力，生成的向量更加丰富、也更加连续。本质上，和AE没有优劣之分，需要根据特定任务进行选择。 （2）变分自编码器的重
阅读全文
摘要：ultra fast lane detection提供了很好的源码，根据演示视频来看，效果似乎不赖，很有必要试一试该算法。 一、基本情况 作者知乎：超快的车道线检测 - 知乎 (zhihu.com) 简单来说，作者认为卷积层形式的输出，导致局部感受野小，很明显车道线识别需要结合全局特征来分析。而全连
阅读全文
摘要：近期不得不提的AI作画，实在是太火了。因此，跑去看了diffusion model的基本原理，公式推导比较难。 大概意思上，分为两个步骤。一是训练过程，给定时间迭代步和包含噪声的图，要求模型能够推理出噪声，并采用mseloss反向传播。二是逆扩散过程，从一个完全的噪声图开始，不断迭代模型求取出一部分
阅读全文
摘要：transformer相比较rnn解决了两个重要问题：1.并行化问题。2.解决了长时依赖问题。 以下两篇博文我觉得写的不错： 深入理解Transformer及其源码 - ZingpLiu - 博客园 (cnblogs.com) Transformer模型详解（图解最完整版） - 知乎 (zhihu.
阅读全文
摘要：2. M是实对称矩阵的话，必定可以相似对角化。不讨论虚数的话： 毫无疑问，Mk的特征向量是原有的K次幂。 3.利用M的特征向量分解x，必定可以得到（向量线性无关的性质） 此时可以看出，k趋近于无穷时，第一向量占比无限大。
阅读全文
摘要：pix2pix是一个GAN模型改进的算法，要求训练集有匹配对。与之相反的，是无匹配对的训练集，即cyclegan。 [1611.07004] Image-to-Image Translation with Conditional Adversarial Networks (arxiv.org) 一、
阅读全文
摘要：因为项目要用到3D目标检测，所以拜读了这篇经典的纯单目视觉的3D检测论文。 该篇论文发表于2017年，影响很大，百度阿波罗引用过，许多文章都是以他为基础开展的。不过，以现在的眼光来看，有不少缺点，但仍然不妨碍咱们体会他的精髓。 1.预备工作 阅读该篇读书笔记前，我建议先看一看这篇博主的文章Deep3
阅读全文
摘要：今天看了一篇文章Automatic Camera Calibration for Traffific Understanding Automatic Camera Calibration for Traffic Understanding [BMVC 2014]_哔哩哔哩_bilibili 只有短短
阅读全文
