2022 年 6月随笔档案 - 李斯赛特

摘要：Statement 1 假设

ϕ (x, z)

$\phi(x,z)$ 为含有两个变量的连续函数：

ϕ : R^{n} \times Z \to R

$\phi : \mathbb{R}^n \times Z \rightarrow \mathbb{R}$ ，其中

Z \subset R^{m}

$Z \subset \mathbb{R}^m$ 为紧集。进一步假设，对于任意

z \in Z

$z\in Z$ ，$\ 阅读全文

posted @ 2022-06-30 08:28 李斯赛特阅读(2106) 评论(0) 推荐(1) 编辑

对抗攻击方法BIM与PGD的区别

摘要：Basic iterative method(BIM):论文地址笔记地址 Projected gradient descent(PGD):论文地址笔记地址区别1 来自于：https://www.sciencedirect.com/science/article/pii/S20958099193 阅读全文

posted @ 2022-06-26 23:47 李斯赛特阅读(2626) 评论(0) 推荐(0) 编辑

【论文笔记】（2015，防御蒸馏）Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks

摘要：有关蒸馏 (Distillation)的论文： (2006)Model Compression (2014)Do Deep Nets Really Need to be Deep? 论文笔记 (2015)Distilling the Knowledge in a Neural Network 论文笔阅读全文

posted @ 2022-06-26 21:10 李斯赛特阅读(1985) 评论(0) 推荐(0) 编辑

【论文笔记】（知识蒸馏）Distilling the Knowledge in a Neural Network

摘要：摘要模型平均可以提高算法的性能，但是计算量大且麻烦，难以部署给用户。《模型压缩》这篇论文中表明，知识可以从复杂的大型模型或由多个模型构成的集成模型中压缩并转移到一个小型模型中，本文基于这一观点做出了进一步研究：通过**知识蒸馏（knowledge distillation）**显著提高了转移后的小阅读全文

posted @ 2022-06-22 13:05 李斯赛特阅读(1260) 评论(0) 推荐(0) 编辑

【论文笔记】（模型压缩）Do Deep Nets Really Need to be Deep？

摘要：摘要作者通过模型压缩（model compression）使浅层的网络学习与深层网络相同的函数，以达到深层网络的准确率（accuracy）。当与深浅模型的参数量相同时，浅层模型可以高保真地模仿具深层网络，这说明了深层网络学到的函数并不一定很深。 2 训练浅层网以模仿深层网络 2.1 Model C 阅读全文

posted @ 2022-06-19 13:04 李斯赛特阅读(1039) 评论(0) 推荐(0) 编辑

【论文笔记】（2017，BIM）Adversarial Machine Learning at Scale

摘要：本文主要是给出了两类多个对抗攻击方法：one-step 攻击和 multi-step 攻击，并在大型模型和大型数据集上对这些方法进行对比实验，实验结果发现使用 one-step 样本进行对抗训练的模型具有较强的对抗鲁棒性，且 one-step 攻击比 multi-step 攻击的可转移性强，此外还发阅读全文

posted @ 2022-06-15 11:35 李斯赛特阅读(2087) 评论(0) 推荐(0) 编辑

【论文笔记】（2019，PGD）Towards Deep Learning Models Resistant to Adversarial Attacks

摘要：摘要作者从鲁棒优化（robust optimization）的角度研究了神经网络的对抗鲁棒性（adversarial robustness）。基于鞍点公式（min-max）本文提出了一种防御任何对抗样本的方法。 1 介绍本文的主要贡献：对抗样本的生成、对抗训练（即攻击与防御）是同一的，这是一个阅读全文

posted @ 2022-06-12 05:42 李斯赛特阅读(3114) 评论(0) 推荐(0) 编辑

【凸优化】3 多面体，单纯形，半正定锥

摘要：1 多面体 Polyhedra 定义：多面体为一系列的（有限个）线性等式和不等式的解集：

P = {x | a_{j}^{T} x \leq b_{j}, j = 1, . . ., m, c_{j}^{T} x = d_{j}, j = 1, . . ., p}

$\mathcal{P}=\{x|a_j^T x \leq b_j, j=1,...,m, c_j^Tx = d_j, j = 1,...,p \}$ 根据上式可看出，多面体是

m

$m$ 个半空间和

p

$p$ 个超平面阅读全文

posted @ 2022-06-05 09:20 李斯赛特阅读(2333) 评论(0) 推荐(0) 编辑

【凸优化】2 超平面，半空间，欧氏球，椭球，范数球，范数锥

摘要：1 超平面 Hyperplanes 定义：超平面是一个形式为

x | a^{T} x = b

${x|a^Tx=b}$ 的集合，其中

a \in R^{n}, a \neq 0, b \in R

$a\in \mathbb{R}^n, a \neq 0, b\in \mathbb{R}$ 。分析上讲，超平面是线性方程的非零解集；几何上讲，超平面是与向量

a

$a$ 具有恒定内积的点集，或具有法向量

a

$a$ 的阅读全文

posted @ 2022-06-03 11:29 李斯赛特阅读(2984) 评论(0) 推荐(0) 编辑

06 2022 档案

公告

搜索

常用链接

随笔分类

随笔档案

阅读排行榜

推荐排行榜