RNN系列： 聊聊RNN&LSTM 聊聊RNN与seq2seq attention mechanism，称为注意力机制。基于Attention机制，seq2seq可以像我们人类一样，将“注意力”集中在必要的信息上。 Attention的结构 seq2seq存在的问题 seq2seq中使用编码器对时序 ...

感谢李沐老师的教学视频以及《动手学深度学习》，视频总时长47h https://zh-v2.d2l.ai/chapter_preface/index.html https://www.bilibili.com/video/BV1if4y147hS/?spm_id_from=333.999.0.0&v ...

论文标题：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 论文作者：Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephe ...

seq2seq模型也称为Encoder-Decoder模型。顾名思义，这个模型有两个模块——Encoder（编码器）和Decoder（解码器）。编码器对输入数据进行编码，解码器对被编码的数据进行解码。此时编码器编码的信息浓缩了翻译所必需的信息，解码器基于这个浓缩的信息生成目标文本。 这里的数据一般指 ...

RNN 用于解决输入数据为，序列到序列(时间序列)数据，不能在传统的前馈神经网络(FNN)很好应用的问题。时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度，即输入内容的上下文关联性强。 整体结构 x、o为向量，分别表示输入层、输出层的值；U、V为权重矩 ...

诸公可知目前最牛逼的TTS免费开源项目是哪一个？没错，是Bert-vits2，没有之一。它是在本来已经极其强大的Vits项目中融入了Bert大模型，基本上解决了VITS的语气韵律问题，在效果非常出色的情况下训练的成本开销普通人也完全可以接受。 BERT的核心思想是通过在大规模文本语料上进行无监督预训 ...

图对比学习（Graph Contrastive Learning, GCL）旨在以自监督的方式学习图的节点表征。具体而言，先以特定方式对原图A进行增广，得到两个增广后的视图（view）V1和V2做为对比对（也可以是原图和增广后的视图做为对比对），并经由GCN进行编码得到两个增广视图中的节点embed... ...

我们来补习一下统计学习框架的正式模型。 输入 一个学习者可以访问以下内容 作用域集合 (Domain set)：一个任意的集合 \(\mathcal X\)，学习者的目标是对其上面的元素进行标记。 标签集合 (Label set)：所有可能的标签 \(\mathcal Y\)。许多时候被限制为 \( ...

本文主要对目前提出的几种用于高光谱图像分类的采样策略作汇总分析，总结了解决overlap问题的不同方法。 一、Overlap问题 目前，广泛使用的采样策略为简单随机采样策略。选定采样比例，然后从所有样本中按比例进行随机采样，作为训练样本，剩余样本作为测试样本。训练样本和测试样本选取如图1所示。 图1 ...

独热编码 OneHotEncoder 是用于将类别型特征转换为独热编码的类。独热编码是一种常用的特征编码方式，特别适用于处理类别型特征，将其转换为数值型特征。 对于每个类别型特征，OneHotEncoder 将其编码成一个长度为类别数量的向量。 每个类别对应一个维度，如果样本的该特征值为该类别，则对 ...

Opencv是计算机视觉中经典的专用库，其支持多语言，跨平台，功能强大。Opencv-Python为Opencv提供了Python接口，使得使用者在Python中能够调用C/C++,在保证易读性和运行效率的前提下，实现所需的功能 ...

UMICH CV Neural Network 既然谈到神经网络，我们肯定要讨论在神经网络中是如何进行梯度的计算以及参数的优化的 传统的方法就是我们手动计算梯度，但是随着神经网络层数的增加，这种方法显然过于复杂 因此我们引入了计算图的概念，从一个简单的例子出发： 我们可以把一个(x+y)z的计算式拆 ...

UMICH CV Neural Network 对于传统的线性分类器，分类效果并不好，所以这节引入了一个两层的神经网络，来帮助我们进行图像分类 可以看出它的结构十分简单，x作为输入层，经过max（0，W1*x）到达h隐藏层，再经过W2到达s输出层 如果我们对隐藏层的结果进行可视化，我们可以看到如下的 ...

UMICH CV Linear Classifiers 在上一篇博文中，我们讨论了利用损失函数来判断一个权重矩阵的好坏，在这节中我们将讨论如何去找到最优的权重矩阵 想象我们要下到一个峡谷的底部，我们自然会选择下降最快的斜坡，换成我们这个问题就是要求权重矩阵相对于损失函数的梯度函数，最简单的方法就是使 ...

Rethinking Point Cloud Registration as Masking and Reconstruction论文阅读，用MAE的结构，想要预测出对齐后点云，然后提高跨点云间配准点的特征描述一致性。 ...

UMICH CV Linear Classifiers 对于使用线性分类器来进行图片分类，我们可以给出这样的参数化方法： 而对于这样一个式子，我们怎么去理解呢？ 首先从代数的角度，这个f(x,W)就是一张图片的得分，我们可以将一张图片所有的像素点输入，乘以一个权重矩阵，再加上一个偏置项b，就得到f( ...

ML Theory 太魔怔了！！！！！ 从微积分课上我们学到 对一个 \(\mathscr C^2\) 函数，其二阶泰勒展开的皮亚诺余项形式 \[f(\bm w') = f(\bm w) + \langle \nabla f(\bm w), \bm w' - \bm w\rangle + o(\|\ ...

Q-REG 2023-09-27 airxiv preprint Jin, S., Barath, D., Pollefeys, M., & Armeni, I. (2023). Q-REG: End-to-End Trainable Point Cloud Registration with Su ...

概述 主成分分析（Principal Component Analysis，PCA）是一种常用的数据降维和特征提取技术，用于将高维数据转换为低维的特征空间。其目标是通过线性变换将原始特征转化为一组新的互相无关的变量，这些新变量称为主成分，它们按照方差递减的顺序排列，以保留尽可能多的原始数据信息。 主 ...

概述 随机森林（Random Forest）是一种集成学习（Ensemble Learning）方法，通过构建多个决策树并汇总其预测结果来完成分类或回归任务。每棵决策树的构建过程中都引入了随机性，包括数据采样和特征选择的随机性。 随机森林的基本原理可以概括如下： 随机抽样训练集：随机森林通过有放回抽 ...