随笔分类 -  Trials

Trial-faster-rcnn
摘要：motivation 试一下faster rcnn的代码, 主要想看看backbone训练一部分好呢还是全部都训练好呢? 实验设置 Attribute Value backbone resnet50 batch_size 2 batch_size_per_image 256 benchmark Tr 阅读全文
posted @ 2021-12-11 14:40 馒头and花卷 阅读(33) 评论(0) 推荐(0) 编辑
TriggerBN ++
摘要：motivation 用两个BN(一个用于干净样本, 一个用于对抗样本), 结果当使用\mathrm\(的时候, 精度能够上升, 而使用\)\mathrm的时候, 也有相当的鲁棒性. 原文采用的是 \[ \alpha \mathcal{L}(f(x), y) + (1-\alpha) \math 阅读全文
posted @ 2021-06-14 09:38 馒头and花卷 阅读(50) 评论(0) 推荐(0) 编辑
BBN+
摘要：motivation 观测用BBN的模式训练出来的模型, 配上不同的α, 结果会如何. settings Attribute Value attack pgd-linf batch_size 128 beta1 0.9 beta2 0.999 dataset cifar10 descr 阅读全文
posted @ 2021-06-09 16:00 馒头and花卷 阅读(164) 评论(0) 推荐(0) 编辑
各层的特征的差异性
摘要：motivation 不同层之间的特征分布有什么关系? settings STD Attribute Value batch_size 128 beta1 0.9 beta2 0.999 dataset cifar10 description STD=STD-sgd-0.1=128=default 阅读全文
posted @ 2021-06-06 18:17 馒头and花卷 阅读(87) 评论(0) 推荐(0) 编辑
TriggerBN +
摘要：motivation 用两个BN(一个用于干净样本, 一个用于对抗样本), 结果当使用\mathrm\(的时候, 精度能够上升, 而使用\)\mathrm的时候, 也有相当的鲁棒性, 但是二者不能兼得. 那么假设一个样本通过两种BN得到两个概率p_和p_, 并利用 \[ p = \alp 阅读全文
posted @ 2021-06-06 18:08 馒头and花卷 阅读(42) 评论(0) 推荐(0) 编辑
Noise
摘要：motivation 提高网络的一个有用的技巧就是增加训练数据: 真实数据, 或者用GAN拟合的数据. 这里想要研究的是, 噪声是否能够算作这类数据. 以CIFAR-10为例, 令 \[ f: x \in \mathcal{X} \rightarrow p \in \mathbb{R}^{11}, 阅读全文
posted @ 2021-06-05 16:14 馒头and花卷 阅读(207) 评论(0) 推荐(0) 编辑
BBN
摘要：motivation BBN 对于处理长尾问题非常有效, 我在想, 能不能类似地用在鲁棒问题上. 思想很简单, 就是上面用干净数据, 下面用对抗样本(其用α=0.5的eval mode 生成), 但是结果非常差. settings - batch_size: 128 - beta1: 阅读全文
posted @ 2021-05-27 21:25 馒头and花卷 阅读(964) 评论(0) 推荐(0) 编辑
EMA
摘要：源 Exponential moving average (EMA) 是一个非常有用的trick, 起到加速训练的作用. 近来发现, 该技巧还可以用于提高网络鲁棒性(约1% ~ 2%). EMA的流程很简单, f(⋅;θ)是我们用于训练的网络, 则在每次迭代结束后进行: \[ 阅读全文
posted @ 2021-05-22 21:54 馒头and花卷 阅读(559) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示