不等式宝鉴
-
简介：建造一个宝可梦图鉴的文档，不过对象是不等式。从建造之日2022年3月10日开始，但凡遇到证明中的不等式，将当时看到的证明、应用、索引记录于此，便于之后查询。每次遇到，在此更新。
-
在联邦学习收敛性证明反复用到的一个不等式：
\[\begin{aligned}
\left\|\sum_{i=1}^n(x_i-y_i)\right\|_2^2& =\sum_{i=1}^n\sum_{j=1}^n\left\langle x_i-y_i,x_j-y_j\right\rangle \\
&=\sum_{i=1}^{n}\sum_{j=1}^{n}\frac{1}{2}\left(\|x_{i}-y_{i}\|_{2}^{2}+\left\|x_{j}-y_{j}\right\|_{2}^{2}-\left\|(x_{i}-y_{i})-(x_{j}-y_{j})\right\|_{2}^{2}\right) \\
&\leq n\sum_{i=1}^n\|x_i-y_i\|_2^2
\end{aligned}\]
- L-smooth的等价定义
If \(\mathbb{E}[x_i-y_i]=0,\forall i\),
then
\[\mathbb{E}\left\|\sum_{i=1}^n(x_i-y_i)\right\|_2^2=\sum_{i=1}^n\mathbb{E}\|x_i-y_i\|_2^2+\sum_{i\neq j}^n\mathbb{E}\left\langle x_i-y_i,x_j-y_j\right\rangle=\sum_{i=1}^n\mathbb{E}\|x_i-y_i\|_2^2
\]
From the Lipschitzan gradient assumption in (3) and Inequality in (21), we can obtain:
\[\left\|\nabla f(x)-\nabla f(y)\right\|_2^2=\left\|\frac{1}{n}\sum_{i=1}^n\left(\nabla f_i(x)-\nabla f_i(y)\right)\right\|_2^2\leq\frac{1}{n}\sum_{i=1}^n\left\|\nabla f_i(x)-\nabla f_i(y)\right\|_2^2\leq L^2\|x-y\|_2^2
\]
