05 2021 档案
摘要:Boundary Aware PoolNet = PoolNet + BASNet,即使用BASNet中的Deep Supervision策略和Hybrid Loss改进PoolNet。 前面两篇文章分别介绍了PoolNet的模型及其代码、BASNet中的深度监督策略和混合损失函数,现在让我们看向P
阅读全文
摘要:Boundary Aware PoolNet = PoolNet + BASNet,即使用BASNet中的Deep Supervision策略和Hybrid Loss改进PoolNet。 为理解Boundary Aware PoolNet,我们并不需要学习整个BASNet,只需要了解其中的Deep
阅读全文
摘要:Boundary Aware PoolNet = PoolNet + BASNet,即使用BASNet中的Deep Supervision策略和Hybrid Loss改进PoolNet。 为理解Boundary Aware PoolNet还是需要全面理解PoolNet的,因此本文将对PoolNet的
阅读全文
摘要:Boundary-Aware-PoolNet Boundary Aware PoolNet = PoolNet + BASNet : Deeply supervised PoolNet using the hybrid loss in BASNet for Salient Object Detect
阅读全文
摘要:transformer最知名的应用就是BERT,BERT就是无监督训练的transformer,transformer就是具有Self-attention的Seq2Seq模型。 RNN常用于处理输入和输出都是sequence的任务,因为RNN是通过遍历输入的sequence而逐步输出一个sequen
阅读全文
摘要:在训练一个可以产生句子的网络时,有哪些技巧呢? Bad Attention 假如要做video的caption generation,某视频有4个frame,即有4个时刻的图片。 用αit表示attention weight,其上标表示frame的索引、下标表示时刻的索引。在第1个
阅读全文
摘要:输入和输出都是sequence的任务都是一种Sequence-to-sequence Learning,简称Seq2Seq。 Attention其实是一种Dynamic Conditional Generation。在前文描述的Conditional Generation中,我们在每个时间点都将En
阅读全文
摘要:基于RNN的Generation 可以用RNN生成一个word、sentence、图片等等。 一个word有多个character组成,因此RNN每次生成一个character。一个sentence由多个word组成,因此RNN每次生成一个word。一张图片由多个像素组成,因此RNN每次生成一个像素
阅读全文
摘要:本文为作者学习李宏毅机器学习课程时参照样例完成homework7的记录。 代码仓库:chouxianyu/LHY_ML2020_Codes,里面除了代码还有数据、PPT、笔记等资源喔~ 任务描述 通过Architecture Design、Knowledge Distillation、Network
阅读全文
摘要:动态计算(Dynamic Computation)就是资源充足时就做到最好,资源不足时就减少运算量、先求有再求好(但也不要太差)。 一种方法是训练多个从小到大的model,然后选择合适的模型,这样的问题是需要存储很多个model。 另外一种方法是,训练一个在中间层就可以得到最终结果的model。因为
阅读全文
摘要:调整Network的架构设计(Architecture Design),让它变得只需要比较少的参数,这是在实际操作中最有效的做法。 Low Rank Approximation 如果是Fully Connected Network,前一层和后一层分别有N、M个neuron则需要N×M
阅读全文
摘要:参数量化就是Parameter Quantization。 用更少的bit表示一个value 比如说本来用32位表示一个weight,现在用16位表示一个weight,这样就缩小了一半。 Weight Clustering 根据weight的值对weight进行聚类,每个类中的weight都用同一个
阅读全文
摘要:知识蒸馏就是Knowledge Distillation。 Knowledge Distillation:https://arxiv.org/abs/1503.02531 Do Deep Nets Really Need to be Deep?:https://arxiv.org/abs/1312.
阅读全文
摘要:Motivation 网络剪枝(Network Pruning)就是删除一个较大网络中的一些weight或neuron得到一个更小的网络。 我们相信,通常情况下我们训练出的神经网络是over-parameterized,即其中存在很多weight或neuron是没有用的(比如有些neuron的输出总
阅读全文
摘要:本文为作者学习李宏毅机器学习课程时参照样例完成homework6的记录。 代码仓库:chouxianyu/LHY_ML2020_Codes,里面除了代码还有数据、PPT、笔记等资源喔~ 任务描述 选择一个Proxy Network实现Black Box Attack,通过FGSM(Fast Grad
阅读全文