随笔分类 -  深度学习

ALBEF-图文对比学习
摘要：《Align before Fuse: Vision and Language Representation Learning with Momentum Distillation》 引言 VLP目标是从大规模图片-文本对子中学习到多模态表示，一次改进下游的视觉-语言任务。 VLP框架的局限性如下： 阅读全文
posted @ 2023-11-21 21:12 Laplace蒜子 阅读(815) 评论(0) 推荐(0) 编辑
动量编码器
摘要：自监督学习 自监督学习属于无监督学习范式的一种，不需要人工标注的类别信息，直接利用数据本身作为监督信息。自监督学习分为自监督生成式学习和自监督对比学习。 自监督生成式学习的方法 以图片为例，自监督学习可以是将图片的位置信息，旋转角度，以及图片在视频帧中的顺序作为标签。 比如对一张原图，将其旋转90° 阅读全文
posted @ 2023-11-17 21:37 Laplace蒜子 阅读(620) 评论(0) 推荐(0) 编辑
Transoformer Pytorch实现
摘要：Transofrmer翻译任务的工作流程 注意力Pad掩码的获得 因为输入句子需要统一长度，肯定会填充Pad特殊字符，Pad特殊字符在word embedding中的数值为0。 提前生成好注意力机制中Pad的掩码。 假设句子长度为Len，那就生成一个Len x Len 矩阵，将其Pad位置，也就是输 阅读全文
posted @ 2023-10-30 15:33 Laplace蒜子 阅读(67) 评论(0) 推荐(0) 编辑
空间变换网络
摘要：函数说明 make_grid函数 torchvision.utils.make_grid(tensor, nrow=8, padding=2, normalize=False, range=None, scale_each=False, pad_value=0) tensor：输入的张量，一般为大小 阅读全文
posted @ 2023-09-11 11:23 Laplace蒜子 阅读(97) 评论(0) 推荐(0) 编辑
目标检测算法——手撕Faster R-CNN
摘要：Faster R-CNN网络结构 Faster R-CNN有四个子模块组成 主干网络 主干网络可以是预训练好的ResNet50,VGG16等网络，将图片压缩为固定尺寸的Feature Map。已经预训练完毕。 ResgionProposalNetwork 根据Feature Map生成与原图尺寸对应 阅读全文
posted @ 2023-07-29 17:54 Laplace蒜子 阅读(263) 评论(0) 推荐(0) 编辑
卷积神经网络理论
摘要：卷积基本概念 卷积操作 感受野计算 RFi = ( RFi+1 - 1)x si +Kisi为第i层的步长，Ki为第i层卷积核大小。 数据填充 图像填充后卷积输出的维度： n：图像大小 f：卷积核大小 p：填充的层数 s：卷积核的步幅 卷积模式 Full：全填充，扩大原图Same：填充保持原图大小V 阅读全文
posted @ 2023-03-21 21:01 Laplace蒜子 阅读(54) 评论(0) 推荐(0) 编辑
电影评论情感分析
摘要：数据集 数据集下载地址 https://ai.stanford.edu/~amaas/data/sentiment/ 解压压缩文件 功能函数 去除标签函数 html标签的正则表达式为：<[^>]+> import re #引入正则表达式功能 def rm_tags(text): re_tag = r 阅读全文
posted @ 2023-03-14 09:48 Laplace蒜子 阅读(95) 评论(0) 推荐(0) 编辑
泰坦尼克号旅客生存概率预测
摘要：数据预处理 加载数据集 import numpy as np import pandas as pd all_df = pd.read_csv("titanic.csv") 部分数据 提取所需要的列 cols=['survived','name','pclass','sex','age','emba 阅读全文
posted @ 2023-03-10 13:19 Laplace蒜子 阅读(108) 评论(0) 推荐(0) 编辑
卷积神经网络预测Cifar10（Keras版本+PyTorch版本）
摘要：Keras版本 导入模块 from keras.datasets import cifar10 import numpy as np from keras.utils import np_utils import matplotlib.pyplot as plt from keras.models 阅读全文
posted @ 2023-03-08 16:48 Laplace蒜子 阅读(224) 评论(0) 推荐(0) 编辑
MNIST
摘要：MNIST数据集合 MNIST数据集共有训练数据60 000项，测试数据10 000项，每一项都是由images和label组成。图像大小都是28 x 28。 数据预处理 导入需要的模块 import numpy as np import pandas as pd from keras.utils 阅读全文
posted @ 2023-02-27 20:56 Laplace蒜子 阅读(112) 评论(0) 推荐(0) 编辑
TensorFlow架构
摘要：Tensorflow基本信息 Tensorflow所需处理器 CPU，GPU，TPU（Google为AI研发的专用芯片） 平台 Windows，Linux，Android，iOS，Raspberry Pi，云端执行 Tensorflowflow还支持分布式执行 前端程序语言 Python，C++ T 阅读全文
posted @ 2023-02-27 18:53 Laplace蒜子 阅读(21) 评论(0) 推荐(0) 编辑
深度学习基础
摘要：数学基础 线性代数部分 标量，有大小无方向....略 向量，有大小有方向...略 张量 标量是0阶张量，矢量是一阶张量，矩阵是二阶张量。三维以及以上数组称为张量 线性相关组 如果存在不全为0的数α1,α2,...,αt，使得： α1a1+α2a2+...+αtat=0,其中0为m维全零向量，那么向量 阅读全文
posted @ 2023-02-24 20:10 Laplace蒜子 阅读(33) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示