摘要： 防盗 https://www.cnblogs.com/setdong/p/17948414 对应于教材 Elements of Information Theory 的 8.7 章节. 在证明定理之前, 先复习一些背景知识, 包括 entropy, WLLN, AEP, joint AEP 和 DM 阅读全文

摘要： 防盗 https://www.cnblogs.com/setdong/p/17756127.html domain adaptation 领域理论方向的重要论文. 这篇笔记主要是推导文章中的定理, 还有分析定理的直观解释. 笔记中的章节号与论文中的保持一致. 1. Introduction doma 阅读全文

摘要： 一些下界 (from Chapter 3.4 of Foundations of machine learning) 阅读全文

摘要： 切尔诺夫限, 霍夫丁定理, 霍夫丁不等式 (含证明) 阅读全文

摘要： 马尔可夫不等式, 切比雪夫不等式, 大数定律 (含证明) 阅读全文

摘要： https://www.cnblogs.com/setdong/p/16508415.html 1. Rprop 在 full-batch optimization 中, 一些梯度可能很小, 而另一些梯度可能很大, 故难以寻找一个 global 学习率. 可以使用梯度的 sign 解决这个问题, 保 阅读全文

摘要： 原文地址 slides GitHub 代码 本文发表于 2021 ICML，提出了一个新颖的神经网络计算方式：对于网络中的每个神经元，不采用传统的线性转换+非线性激活函数的方式，而是计算输入与参数之间的 $\ell_{\infty}$-distance，作者将其称为 $\ell_{\infty}$- 阅读全文

摘要： 提出 JSMA 对抗样本生成方法 阅读全文

摘要： Statement 1 假设 $\phi(x,z)$ 为含有两个变量的连续函数： $\phi : \mathbb{R}^n \times Z \rightarrow \mathbb{R}$，其中 $Z \subset \mathbb{R}^m$ 为紧集。 进一步假设，对于任意 $z\in Z$，$\ 阅读全文

摘要： Basic iterative method(BIM):论文地址 笔记地址 Projected gradient descent(PGD):论文地址 笔记地址 区别1 来自于：https://www.sciencedirect.com/science/article/pii/S20958099193 阅读全文