随笔分类 - 课程—深度学习
摘要:Modeling the Background for Incremental Learning in Semantic Segmentation 论文阅读笔记 前置芝士:多分类语义分割的交叉熵损失函数可以参考https://blog.csdn.net/weixin_47142735/article
阅读全文
摘要:Deep Rectangling for Image Stitching: A Learning Baseline 1. 任务介绍 图像矩形化是将具有不规则形状图片(如多张图拼接而成的全景图像)变成一张矩形图片的方法。如果是找到一个最大的内接矩形进行裁剪,会损失较多的信息;图像补全填充的内容是基于预
阅读全文
摘要:决策树 概念 希望根据样本的若干个特征对其进行分类。 决策树是一种判别模型。 特征: 样本: 可以进行二分类也可以进行多分类。一般来说使用决策树的时候特征取值都是离散的。最终想要学习到的是特征和标签之间的关系。 \(\begin{
阅读全文
摘要:逻辑回归 线性回归不适合处理分类问题,因为用连续型函数逼近离散型函数不太靠谱。因此考虑如何修改线性回归方法使其适用于分类问题。 现在给出: 对于$w\in Rk,b\in R,f(x)
阅读全文
摘要:引入 设袋子里有红白两种球,比例为。现在不知道比例值是多少,因此可以随机抽样:,每一个都是随机变量的随机抽样结果,并进行如下估计: 如果有两个袋子,各自都有红色的球和白色的球,抽取的时候先
阅读全文
摘要:DeepLab V3 这是2017年发表在CVPR上的文章。相比于V2而言,主要不同之处有三个:引入了Multi-grid、改进了ASPP结构、移除CRFs后处理。 解决多尺度问题的几种办法: 在DeepLab V3中作者提出了两种结构:cascaded model以及ASPP model: Dee
阅读全文
摘要:最近看知乎推送的CVPR2022的一篇论文的时候发现文章提到了re-parameterized这个词,搜了一下发现了作者关于重参数化的一个报告,于是简单记录了一下~ 什么是重参数化(re-parameterized) 常规思想:对于一个卷积层需要的参数是$D\times C\times K\time
阅读全文
摘要:[ICLR 2021] Revisiting Dynamic Convolution via Matrix Decomposition 摘要 该文章表明,K个静态卷积核的自适应聚合所得到的动态卷积效果较好,但其存在两个主要的问题: 卷积权重数量增加了K倍。 动态注意力和静态卷积核的联合优化具有挑战性
阅读全文
摘要:动态神经网络综述阅读笔记 简单记录了一下,没有什么调理O.O Introduction 神经网络结构设计发展: 2012-2015:快速发展 2015-2017:发展成熟 2017-~:繁荣发展。多样化(轻量化、自动搜索、动态神经网络...) 一个问题:模型在精度和效率上的平衡? 模型的性能往往和深
阅读全文
摘要:第四次软工作业:使用VGG模型进行猫狗大战 学术界当下使用最广泛的大规模图像数据集为ImageNet,它有超过1,000万的图像和1,000类的物体。但是通常而言我们使用的数据集的规模会小于ImageNet的规模。如果用较小的数据集来训练适用于ImageNet的复杂模型很可能会导致过拟合。解决的方法
阅读全文
摘要:理解转置卷积 下面的图片都是抄的,侵删 普通的卷积网络层通常会减少下采样输入图像的空间维度(高和宽)。而在空间维度被卷积神经网络层缩小后,我们可以使用另一种类型的卷积神经网络层,它可以增加上采样中间层特征图的空间维度。转置卷积就是这样的一种用于逆转下采样导致的空间尺寸减小的卷积网络层。普通的卷积不会
阅读全文
摘要:卷积神经网络CNN 总结 总结 卷积神经网络的应用 基本应用:分类、检索、检测、分割。代码中主要练习了图像分类,而很多时候卷积神经网络其实是作为应用的一部分,比如对于物体检测,如果采用Fast-RCNN,卷积层起到的主要作用是用来提取特征,在训练时整个pipeline是隔离的。除了CV,卷积神经网络
阅读全文
摘要:#1. 深度学习笔记一 ##1.1 绪论 (1)关于人工智能、机器学习与深度学习之间的关系: 人工智能是一种科技领域,分为机器学习,数据挖掘(大概是大数据方向)以及其他方面如作为AL分支的NLP等。对于机器学习,根据有无监督又分为全监督学习(回归算法、朴素贝叶斯以及SVM等),无监督学习(聚类算法,
阅读全文
摘要:AIR学术沙龙 I《动态卷积神经网络》视频学习笔记 Convolutional Networks 多种网络模型被提出来:AlexNet,VGG... 网络在做什么?为什么要提出新的结构? 网络结构影响着: 表达能力(Representation power) 深度学习表达能力更好。 优化性质(Opt
阅读全文
摘要:深度学习经典模型RESNET解析 1. 理论基础 1. 残差学习概念 深度神经网络相当于函数的拟合过程(复合函数)。如果层数足够深,CNN可以拟合任何一个函数。 如果当网络的层数越来越深的时候,由于网络的退化现象(不妨假设拟合的是H(x)),难以训练出来。 那么可以改为训练$F(x) = H(x)
阅读全文
摘要:每次跑到训练模型的时候都会挂掉(2021.7.9更新,调用matplotlib也会挂),查阅博客发现可能是占用的CPU没有被释放/numpy库冲突等等。 暂时的解决办法是按照提示修改环境变量以屏蔽报错,即加上 import os os.environ["KMP_DUPLICATE_LIB_OK"]=
阅读全文
摘要:#卷积神经网络CNN ##1. 绪论 ###1. 卷积神经网络的应用 基本应用:分类、检索、检测、分割 ###2. 传统神经网络 VS 卷积神经网络 深度学习三部曲: 放一个知乎上写的辅助理解CNN的文章:https://zhuanlan.zhihu.com/p/27908027 Step 1. 搭
阅读全文
摘要:#外一章 ##1. 深度学习的数学基础 概率统计 线性代数 最优化 信息论 微积分 ###1. 矩阵线性变换 特征值: 从线性变换的角度 ,矩阵相乘对原始向量同时施加方向变化和尺度变化。对于有些特殊的向量,矩阵的作用只有尺度变化而没有方向变化。这类特殊的向量就是特征向
阅读全文