Processing math: 100%

05 2021 档案

摘要:Boundary Aware PoolNet = PoolNet + BASNet,即使用BASNet中的Deep Supervision策略和Hybrid Loss改进PoolNet。 前面两篇文章分别介绍了PoolNet的模型及其代码、BASNet中的深度监督策略和混合损失函数,现在让我们看向P 阅读全文
posted @ 2021-05-31 15:00 臭咸鱼 阅读(228) 评论(0) 推荐(0) 编辑
摘要:Boundary Aware PoolNet = PoolNet + BASNet,即使用BASNet中的Deep Supervision策略和Hybrid Loss改进PoolNet。 为理解Boundary Aware PoolNet,我们并不需要学习整个BASNet,只需要了解其中的Deep 阅读全文
posted @ 2021-05-31 14:59 臭咸鱼 阅读(289) 评论(0) 推荐(0) 编辑
摘要:Boundary Aware PoolNet = PoolNet + BASNet,即使用BASNet中的Deep Supervision策略和Hybrid Loss改进PoolNet。 为理解Boundary Aware PoolNet还是需要全面理解PoolNet的,因此本文将对PoolNet的 阅读全文
posted @ 2021-05-31 14:58 臭咸鱼 阅读(576) 评论(0) 推荐(0) 编辑
摘要:Boundary-Aware-PoolNet Boundary Aware PoolNet = PoolNet + BASNet : Deeply supervised PoolNet using the hybrid loss in BASNet for Salient Object Detect 阅读全文
posted @ 2021-05-31 14:55 臭咸鱼 阅读(364) 评论(0) 推荐(0) 编辑
摘要:transformer最知名的应用就是BERT,BERT就是无监督训练的transformer,transformer就是具有Self-attention的Seq2Seq模型。 RNN常用于处理输入和输出都是sequence的任务,因为RNN是通过遍历输入的sequence而逐步输出一个sequen 阅读全文
posted @ 2021-05-23 09:11 臭咸鱼 阅读(246) 评论(0) 推荐(0) 编辑
摘要:在训练一个可以产生句子的网络时,有哪些技巧呢? Bad Attention 假如要做video的caption generation,某视频有4个frame,即有4个时刻的图片。 用αit表示attention weight,其上标表示frame的索引、下标表示时刻的索引。在第1个 阅读全文
posted @ 2021-05-22 10:06 臭咸鱼 阅读(121) 评论(0) 推荐(0) 编辑
摘要:输入和输出都是sequence的任务都是一种Sequence-to-sequence Learning,简称Seq2Seq。 Attention其实是一种Dynamic Conditional Generation。在前文描述的Conditional Generation中,我们在每个时间点都将En 阅读全文
posted @ 2021-05-20 09:30 臭咸鱼 阅读(243) 评论(0) 推荐(0) 编辑
摘要:基于RNN的Generation 可以用RNN生成一个word、sentence、图片等等。 一个word有多个character组成,因此RNN每次生成一个character。一个sentence由多个word组成,因此RNN每次生成一个word。一张图片由多个像素组成,因此RNN每次生成一个像素 阅读全文
posted @ 2021-05-19 10:06 臭咸鱼 阅读(161) 评论(0) 推荐(0) 编辑
摘要:本文为作者学习李宏毅机器学习课程时参照样例完成homework7的记录。 代码仓库:chouxianyu/LHY_ML2020_Codes,里面除了代码还有数据、PPT、笔记等资源喔~ 任务描述 通过Architecture Design、Knowledge Distillation、Network 阅读全文
posted @ 2021-05-08 08:07 臭咸鱼 阅读(382) 评论(0) 推荐(0) 编辑
摘要:动态计算(Dynamic Computation)就是资源充足时就做到最好,资源不足时就减少运算量、先求有再求好(但也不要太差)。 一种方法是训练多个从小到大的model,然后选择合适的模型,这样的问题是需要存储很多个model。 另外一种方法是,训练一个在中间层就可以得到最终结果的model。因为 阅读全文
posted @ 2021-05-07 11:30 臭咸鱼 阅读(113) 评论(0) 推荐(0) 编辑
摘要:调整Network的架构设计(Architecture Design),让它变得只需要比较少的参数,这是在实际操作中最有效的做法。 Low Rank Approximation 如果是Fully Connected Network,前一层和后一层分别有N、M个neuron则需要N×M 阅读全文
posted @ 2021-05-06 08:28 臭咸鱼 阅读(193) 评论(0) 推荐(0) 编辑
摘要:参数量化就是Parameter Quantization。 用更少的bit表示一个value 比如说本来用32位表示一个weight,现在用16位表示一个weight,这样就缩小了一半。 Weight Clustering 根据weight的值对weight进行聚类,每个类中的weight都用同一个 阅读全文
posted @ 2021-05-05 09:54 臭咸鱼 阅读(370) 评论(0) 推荐(0) 编辑
摘要:知识蒸馏就是Knowledge Distillation。 Knowledge Distillation:https://arxiv.org/abs/1503.02531 Do Deep Nets Really Need to be Deep?:https://arxiv.org/abs/1312. 阅读全文
posted @ 2021-05-04 09:52 臭咸鱼 阅读(250) 评论(0) 推荐(0) 编辑
摘要:Motivation 网络剪枝(Network Pruning)就是删除一个较大网络中的一些weight或neuron得到一个更小的网络。 我们相信,通常情况下我们训练出的神经网络是over-parameterized,即其中存在很多weight或neuron是没有用的(比如有些neuron的输出总 阅读全文
posted @ 2021-05-02 06:36 臭咸鱼 阅读(477) 评论(2) 推荐(1) 编辑
摘要:本文为作者学习李宏毅机器学习课程时参照样例完成homework6的记录。 代码仓库:chouxianyu/LHY_ML2020_Codes,里面除了代码还有数据、PPT、笔记等资源喔~ 任务描述 选择一个Proxy Network实现Black Box Attack,通过FGSM(Fast Grad 阅读全文
posted @ 2021-05-01 08:24 臭咸鱼 阅读(171) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示