摘要：
Foret P., Kleiner A., Mobahi H., Neyshabur B. Sharpness-aware minimization for efficiently improving generalization. In International Conference on Le 阅读全文
摘要：
Tolstlkhin I., Houlsby N., Kolesnikov A., Beyer L., Zhai X., Unterthiner T., Yung J., Steiner A., Keysers D., Uszkoreit J., Lucic M., Dosovitskly A. M 阅读全文
摘要：
RKHS-wiki 概 这里对RKHS做一个简单的整理, 之前的理解错得有点离谱了. 主要内容 首先要说明的是, RKHS也是指一种Hilbert空间, 只是其有特殊的性质. Hilbert空间$\mathcal$, 其中的每个元素$f: \mathcal \rightarrow \mathbb\( 阅读全文
摘要：
Hu H., Zhang Z., Xie Z., Lin S. Local relation networks for image recognition. In International Conference on Computer Vision (ICCV), 2019. 概 一种特殊的卷积? 阅读全文
摘要：
Chen M., Radford A., Child R., Wu J., Jun H., Dhariwal P., Luan D., Sutskever I. Generative pretraining from pixels. In International Conference on Ma 阅读全文
摘要：
Radford A., Narasimhan K., Salimans T. and Sutskever I. Improving language understanding by generative pre-training. 2018. Devlin J., Chang M., Lee K. 阅读全文
摘要：
上一部分介绍的blur能够将图片模糊化, 这部分介绍的是突出图片的边缘的细节. 什么是边缘呢? 往往是像素点跳跃特别大的点, 这部分和梯度的概念是类似的, 可以如下定义图片的一阶导数而二阶导数: \[ \frac{\partial f}{\partial x} = f(x+1) - f(x), \\ 阅读全文
摘要：
Gonzalez R. C. and Woods R. E. Digital Image Processing (Forth Edition). import cv2 import matplotlib.pyplot as plt import numpy as np FILTERS filters 阅读全文
摘要：
Heuristics-driven Pad and Crop He K., Zhang X., Ren S. and Sun J. Deep residual learning for image recognition. In IEEE Conference on Computer Vision 阅读全文
摘要：
motivation 用两个BN(一个用于干净样本, 一个用于对抗样本), 结果当使用$\mathrm\(的时候, 精度能够上升, 而使用\)\mathrm$的时候, 也有相当的鲁棒性. 原文采用的是 \[ \alpha \mathcal{L}(f(x), y) + (1-\alpha) \math 阅读全文
摘要：
Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A. N., and Kaiser L. Attention is all you need. In Advances in Neural Information Pro 阅读全文
摘要：
motivation 观测用BBN的模式训练出来的模型, 配上不同的$\alpha$, 结果会如何. settings Attribute Value attack pgd-linf batch_size 128 beta1 0.9 beta2 0.999 dataset cifar10 descr 阅读全文
摘要：
Gonzalez R. C. and Woods R. E. Digital Image Processing (Forth Edition). 令$r_k, k = 0, 1,2, \cdots, L-1$ 表示图片密度值为$k$, \[ h(r_k) = n_k, \: k = 0, 1, \c 阅读全文
摘要：
Khemakhem I., Kingma D. P., Monti R. P. and Hyv"{a}rinen A. Variational autoencoders and nonlinear ICA: a unifying framework. In International Confere 阅读全文
摘要：
motivation 不同层之间的特征分布有什么关系? settings STD Attribute Value batch_size 128 beta1 0.9 beta2 0.999 dataset cifar10 description STD=STD-sgd-0.1=128=default 阅读全文
摘要：
motivation 用两个BN(一个用于干净样本, 一个用于对抗样本), 结果当使用$\mathrm\(的时候, 精度能够上升, 而使用\)\mathrm$的时候, 也有相当的鲁棒性, 但是二者不能兼得. 那么假设一个样本通过两种BN得到两个概率$p_$和$p_$, 并利用 \[ p = \alp 阅读全文
摘要：
motivation 提高网络的一个有用的技巧就是增加训练数据: 真实数据, 或者用GAN拟合的数据. 这里想要研究的是, 噪声是否能够算作这类数据. 以CIFAR-10为例, 令 \[ f: x \in \mathcal{X} \rightarrow p \in \mathbb{R}^{11}, 阅读全文
摘要：
Choi H. I. Lecture 4: Exponential family of distributions and generalized linear model (GLM). 定义 定义: 一个分布具有如下形式的密度函数: \[ f_{\theta}(x) = \frac{1}{Z(\t 阅读全文
摘要：
Sufficient statistic - Wikipedia Sufficient statistic - arizona 定义 统计量是一些随机样本$X_1, X_2, \cdots, X_n$的函数 \[ T = r(X_1, X_2, \cdots, X_n). \] 样本$X$的分布$f 阅读全文
摘要：
Yu Y., Chen J., Gao T. and Yu M. DAG-GNN: DAG structure learning with graph neural networks. In International Conference on Machine Learning (ICML), 2 阅读全文