馒头and花卷

摘要： LeCun Y., Chopra S., Hadsell R., Ranzato M. & Huang F. A Tutorial on Energy-Based Learning. To appear in “Predicting Structured Data, 2006, 1: 0. 概 从能 阅读全文

摘要： Liu M., Tuzel O. Coupled Generative Adversarial Networks. NIPS, 2016. 概 用GAN和数据(从边缘分布中采样)来拟合联合分布. 主要内容 这篇文章想要解决的问题是, 在仅有俩组不同数据(即从各自边缘分布中采样的数据), 如何用GAN 阅读全文

摘要： Zhao J., Mathieu M. & LeCun Y. Energy-based generative adversarial networks. ICLR, 2017. 概 基于能量的一个解释. 主要内容 本文采用了与GAN不同的损失, 判别器$D$和生成器$G$分别最小化下面的损失: \[ 阅读全文

摘要： Chen X., Duan Y., Houthooft R., Schulman J., Sutskever I., Abbeel P. InfoGAN: Interpretable Representation Learning by Information Maximizing Generati 阅读全文

摘要： Huang J., Smola A., Gretton A., Borgwardt K. & Scholkopf B. Correcting Sample Selection Bias by Unlabeled Data. NIPS, 2007. 概 MMD量化了两组数据是否来自同一个分布的可能性, 阅读全文

摘要： Borgwardt K., Gretton A., Rasch M., Kriegel H., Schoikopf B., Smola A. Integrating structured biological data by Kernel Maximum Mean Discrepancy. 2006 阅读全文

摘要： Order Statistic The Order Statistic 所谓顺序统计量, 即一族独立的观测$X_1, X_2, \ldots, X_n$的排序后的产物 \[ X_{(1)} \le X_{(2)} \le \cdots \le X_{(n)}. \] 用大写的原因, 自然是我们可以将 阅读全文

摘要： [Chen T. & Li L. Intriguing Properties of Contrastive Losses. arXiv preprint arXiv 2011.02803, 2020.] 概 普通的对比损失有一种广义的表示方法, 改变alignment和distribution项的权 阅读全文

摘要： Croce F. & Hein M. Reliable evaluation of adversarial robustness with an ensemble of diverse parameter-free attacks. In International Conference on Ma 阅读全文

摘要： Pang T., Yang X., Dong Y., Xu K., Su H., Zhu J. Boosting Adversarial Training with Hypersphere Embedding. arXiv preprint arXIv 2002.08619 概 在最后一层, 对we 阅读全文

摘要： Uncovering the Limits of Adversarial Training against Norm-Bounded Adversarial Examples Gowal S., Qin C., Uesato J., Mann T. & Kohli P. Uncovering the 阅读全文

摘要： Kim M., Tack J. & Hwang S. Adversarial Self-Supervised Contrastive Learning. In Advances in Neural Information Processing Systems, 2020. 概 这篇文章提出了对比学习 阅读全文

摘要： Wu Z., Xiong Y., Yu S. & Lin D. Unsupervised Feature Learning via Non-Parametric Instance Discrimination. arXiv preprint arXiv 1805.01978 概 这篇文章也是最近很虎 阅读全文

摘要： Hinton G., Vinyals O. & Dean J. Distilling the Knowledge in a Neural Network. arXiv preprint arXiv 1503.02531 概 \[ q_1 = \frac{\exp(z_i/T)}{\sum_j \ex 阅读全文

摘要： Tian Y., Sun C., Poole B., Krishnan D., Schmid C. & Isola P. What Makes for Good Views for Contrastive Learning? arXiv preprint arXiv 2005.10243, 2020 阅读全文

摘要： 廖雪峰Git教程 初始化 在你想要git的文件夹内 git bash here 接着注册 git config --global user.name "XXXXXX" git config --global user.email "XXX@+++.com" 配置别名 git config --glo 阅读全文

摘要： Entropy, relative entropy and mutual information. Entropy $$ H(X) = -\sum_{x} p(x) \log p(x), $$ 熵非负, 且当且仅当$X$确定性的时候为有最小值0, 即$P(X=x_0)=1$. Proof: 由$\l 阅读全文

摘要： Keith Conrad. Stirling's Formula. Stirling's Formula \[ \lim_{n \rightarrow \infty} \frac{n!}{(n^n/e^n)\sqrt{2\pi n}} =1. \] Proof: \[ \begin{array}{l 阅读全文

摘要： Tian Y., Krishnan D., Isola P. CONTRASTIVE REPRESENTATION DISTILLATION. arXiv preprint arXiv 1910.10699, 2019. 概 感觉其和此的相似度有50%, 不过这篇写得早一点, 所以后者是借鉴了这篇文 阅读全文

摘要： Kang M., Park J. Contrastive Generative Adversarial Networks. arXiv preprint arXiv 2006.12681, 2020. 概 如何将对比损失和GAN结合在一起呢? 主要内容 还是老问题, 结合对比学习就是如何构造正负样本 阅读全文