摘要： 有关蒸馏 (Distillation)的论文： (2006)Model Compression (2014)Do Deep Nets Really Need to be Deep? 论文笔记 (2015)Distilling the Knowledge in a Neural Network 论文笔 阅读全文

摘要： 摘要 模型平均可以提高算法的性能，但是计算量大且麻烦，难以部署给用户。《模型压缩》这篇论文中表明，知识可以从复杂的大型模型或由多个模型构成的集成模型中压缩并转移到一个小型模型中，本文基于这一观点做出了进一步研究：通过**知识蒸馏（knowledge distillation）**显著提高了转移后的小 阅读全文

摘要： 摘要 作者通过模型压缩（model compression）使浅层的网络学习与深层网络相同的函数，以达到深层网络的准确率（accuracy）。当与深浅模型的参数量相同时，浅层模型可以高保真地模仿具深层网络，这说明了深层网络学到的函数并不一定很深。 2 训练浅层网以模仿深层网络 2.1 Model C 阅读全文

摘要： 本文主要是给出了两类多个对抗攻击方法：one-step 攻击和 multi-step 攻击，并在大型模型和大型数据集上对这些方法进行对比实验，实验结果发现使用 one-step 样本进行对抗训练的模型具有较强的对抗鲁棒性，且 one-step 攻击比 multi-step 攻击的可转移性强，此外还发 阅读全文

摘要： 摘要 作者从鲁棒优化（robust optimization）的角度研究了神经网络的对抗鲁棒性（adversarial robustness）。基于鞍点公式（min-max）本文提出了一种防御任何对抗样本的方法。 1 介绍 本文的主要贡献： 对抗样本的生成、对抗训练（即攻击与防御）是同一的，这是一个 阅读全文

摘要： 1 多面体 Polyhedra 定义：多面体为一系列的（有限个）线性等式和不等式的解集： \(\mathcal{P}=\{x|a_j^T x \leq b_j, j=1,...,m, c_j^Tx = d_j, j = 1,...,p \}\) 根据上式可看出，多面体是$m$个半空间和$p$个超平面 阅读全文

摘要： 1 超平面 Hyperplanes 定义：超平面是一个形式为${x|a^Tx=b}$的集合，其中$a\in \mathbb{R}^n, a \neq 0, b\in \mathbb{R}$。 分析上讲，超平面是线性方程的非零解集；几何上讲，超平面是与向量$a$具有恒定内积的点集，或具有法向量$a$的 阅读全文

摘要： ##1. 仿射集 Affine Sets 1）定义 定义1：$x_1, x_2$为集合$C\subseteq \mathbb{R}^n$中的任意两点，如果穿过$x_1,x_2$的直线仍在$C$内，那么$C$为仿射集。 定义2：对于任意$x_1,x_2\in C$，\(\theta\in \mathb 阅读全文

摘要： 本文发表于 ICLR 2015，提出了经典的攻击方法 - FGSM（Fast Gradient Sign Method），这篇博客的第1-5节为重点部分，包括原文第5节的公式推导。 1. 对抗扰动 寻找对抗样本的目标是：1）模型将其错误分类；2）人眼无法分辨对抗扰动。已知对抗样本 $\tilde{x 阅读全文