理论机器学习

简介

可学习理论针对于监督学习，从问题空间$X\times Y$中采样，输出一个预测函数$h:X\to Y$，来判定X与Y之间的对应关系。

主要难点在于：

1. 采样空间S需要多大，太大则不现实，太小则不能达到足够的精度；如果问题有着强烈的结构，那么小的样本空间是可能的。
2. 预测函数h的精确度，太低不能满足要求，太高则有可能不能有效覆盖整个问题空间，也就是欠拟合和过拟合。另外不同领域中，预测函数的结构有很大差别，也就是会有不同的预测/假设函数类。
3. 实际应用中，精确度函数，或者说损失函数L，也是影响学习过程的重要因素。例如凸函数可以降低时间复杂度，还可以抑制过拟合问题。

因此学习问题定义为一个三元组$(S,H,L)$。未知数据分布$(x,y)\sim D$的情况下，可学习理论给出了得到预测函数集合中最优函数，需要的样本复杂度。

PAC可学习

PAC可学习

• 已知：领域集$X\sim D$，标签集$Y$，标记函数$f:X\to Y$
• 学习器输入： 训练集$S:X\times Y$
• 学习器输出： $h:X\to Y$
• 错误率： $L_{D,f}(h)\overset{def}{=}P_{x\sim D}[h(x)\neq f(x)]\overset{def}{=}D(\{x|h(x)\neq f(x)\})$
• 训练误差： $L_S(h)\overset{def}{=}\frac{1}{m}|\{i\in [m]|h(x_i)\neq y_i\}|$
• 假设类H：提前选择的预测器集合
• 经验风险最小化 ERM： $h_*=\arg\min_{h\in H}L_S(h)$
• iid 假设： 训练集中的样本根据分布 D，独立同分布。
• 样本复杂度：$m_H:(0,1)\times(0,1)\to N$
• 可实现假设：$\exists h\in H(L_{D,f}(h)=0)$

定义：$\exists m_H\exists A,\forall\epsilon\forall\delta\forall D[\exists h\in H(L_{D,f}(h)=0)\wedge m\geqslant m_H(\epsilon,\delta)\Rightarrow P(L_{D,f}(A(S)\leqslant\epsilon)\geqslant 1-\delta]$

任一有限假设类H为PAC可学习，采样复杂度满足：$m_H(\epsilon,\delta)\leqslant\left \lceil \frac{\log(|H|)}{\epsilon\delta} \right \rceil$

$\gamma-$弱可学习：类似与 PAC可学习，但不要求$\epsilon=1/2-\gamma$任意小，比随机猜测好一个$\gamma$即可，以此换取高效算法。

不可知PAC可学习

• 已知：领域标签集$X\times Y\sim D$
• 学习器输入： 训练集$S:X\times Y$
• 学习器输出： $h:X\to Y$
• 错误率： $L_{D}(h)\overset{def}{=}P_{(x,y)\sim D}[h(x)\neq y]\overset{def}{=}D(\{(x,y)|h(x)\neq y\})$
• 训练误差： $L_S(h)\overset{def}{=}\frac{1}{m}|\{i\in [m]|h(x_i)\neq y_i\}|$
• 假设类H：提前选择的预测器集合
• 经验风险最小化 ERM： $h_*=\arg\min_{h\in H}L_S(h)$
• iid 假设： 训练集中的样本根据分布 D，独立同分布。
• 样本复杂度：$m_H:(0,1)\times(0,1)\to N$

定义：$\exists m_H\exists A,\forall\epsilon\forall\delta\forall D,m\geqslant m_H(\epsilon,\delta)\Rightarrow P(L_{D}(A(S))\leqslant\min_{h'\in H}L_D(h')+\epsilon)\geqslant 1-\delta$

定理：[没有免费的午餐]
    对实例空间 X上0-1损失的二分任务，令 A 表示任意的学习算法。样本大小 m 表示小于|X|/2的任意数，则在$X\times\{0,1\}$上存在一个分布 D，使得：存在一个函数$f:X\to\{0,1\}$满足$L_D(f)=0$；在样本集$S\sim D^m$上，以至少$\frac{1}{7}$的概率满足 $L_D(A(S))\geqslant \frac{1}{8}$。每个学习器，都存在一个任务使其失败。

VC维：H 可以打散的最大集合的大小。

• 打散：如果限制 H 在 C 上是从 C 到$\{0，1\}$的所有函数的集合，则称 H 打散了有限集 H,此时$|H_C|=2^{|C|}$。

一致收敛(H)：$$\exists m_H\exists A,\forall\epsilon\forall\delta\forall D,m\geqslant m_H(\epsilon,\delta)\Rightarrow P(L_{D}(A(S))\leqslant\min_{h'\in H}L_D(h')+\epsilon)\geqslant 1-\delta$$

定理：二分类问题的等价性：一致收敛$\iff$不可知PAC可学习$\iff$VCdim有限

不一致可学习

样本复杂度：$m_H:(0,1)\times(0,1)\times H\to N$

定义：$\exists m_H\exists A,\forall\epsilon\forall\delta\forall D\forall h,m\geqslant m_H(\epsilon,\delta,h),S\sim D^m\Rightarrow P(L_D(A(S))\leqslant L_D(h)+\epsilon)\geqslant 1-\delta$

定理：二分类问题的假设类 H是不一致可学习$\iff$H 为不可知PAC可学习的可数并
定理：[结构风险最小化SRM]设$$S\sim D^m,\sum_nw(n)\leqslant 1, H=\bigcup_nH_n,\epsilon_n(m,\delta)=min\{\epsilon\in(0,1):m_{H_n}(\epsilon,\delta)\leqslant m\}$$ $$[\forall\delta\forall n\forall h\in H_n,P(|L_D(h)-L_S(h)|\leqslant\epsilon_n(m,w(n)\delta))\geqslant 1-\delta]\Rightarrow [\forall\delta\forall D\forall h\in H, L_D(h)\leqslant L_S(h)+\min_{n:h\in H}\epsilon_n(m,w(n)\delta) ]$$

一致收敛$(H,2^D)$：$$\exists m_H\exists A,\forall\epsilon\forall\delta\forall D\forall h,m\geqslant m_H(\epsilon,\delta,h,D),S\sim D^m\Rightarrow P(L_D(A(S))\leqslant L_D(h)+\epsilon)\geqslant 1-\delta$$

凸学习问题

凸学习问题：假设类$H$为凸集，损失函数$L$对样本$s$为凸函数，则学习问题$(H,L,S)$为凸的。

可学习性

$\rho-$利普希茨性：$f:R^d\to R^k,\exists \rho\forall w_1\forall w_2, \left \| f(w_1)-f(w_2) \right \|\leqslant \rho \left \| w_1-w_2 \right \| $

光滑性：$\bigtriangledown f$具有$\rho-$利普希茨性

假设类有界：$\exists B\forall h\in H \left \| h \right \|\leqslant B$

学习问题$(H,L,S)$为凸利普希茨有界：$(H,L,S)$为凸$\wedge H$有界$\wedge L$为利普希茨

学习问题$(H,L,S)$为凸光滑有界：$(H,L,S)$为凸$\wedge H$有界$\wedge L$为非负、光滑

正则性与稳定性

正则损失最小化$RLM:\arg\min_h(L_D(h)+R(h)),R:R^d\to R$

Tikhonov 正则化：$R(h)=\lambda \left \| h \right \|^2$

• 岭回归为不可知 PAC 可学习器

换一稳定：$S^{(i)})$替换了S 的第 i 个样本，$\epsilon:N\to R$是一个单调递减函数。一个学习算法 A 是在比率$\epsilon(m)$下的换一稳定，如果$$E_{(S,z')\sim D^{m+1},i\sim U(m)}[L(A(S^{(i)}),z_i)-L(A(S),z_i)]\leqslant \epsilon(m)$$

$\lambda-$强凸函数：$f(au+(1-a)v)\leqslant af(u)+(1-a)f(v)-\frac{\lambda}{2}a(1-a)\left \| u-v\right \|^2$

• $f(h)=\lambda \left \| h \right \|^2$是$2\lambda-$强凸函数
• f 是$\lambda-$强凸函数，g是凸函数，f+g 是$\lambda-$强凸函数
• f 是$\lambda-$强凸函数，如果 u 是 f 的一个极小值，那么$f(h)-f(u)\geqslant \frac{\lambda}{2}\left \| h-u\right \|^2$

定理：学习问题$(H,L,S)$为凸利普希茨，那么Tikhonov 正则化的 RLM 是比率为$\frac{2\rho^2}{\lambda m}$的换一稳定。

定理：学习问题$(H,L,S)$为凸光滑，$\exists C\forall s(L(0,s)\leqslant C)$，那么Tikhonov 正则化的 RLM 是比率为$\frac{48\rho C}{\lambda m}$的换一稳定。

随机梯度下降SGD

定理：对于梯度下降法GD，$w^{(1)}=0, w^{(t+1)}=w^{(t)}-\eta \nu_t$，有$\sum_t <w^{(t)}-w^*,\nu_t>\leqslant \frac{\left \| w^* \right \|^2}{2\eta}+\frac{\eta}{2}\sum_t\left \| \nu_t \right \|^2$

次梯度：f是凸函数$\iff \forall w\exists v\forall u,f(u)-f(w)\geqslant <u-w,v>$，v称为f在w处的次梯度，其集合记作$\partial f(w)$。

定理：A为开凸集，f为A上凸函数，f为凸利普希茨$\iff \forall w\in A\forall v\in \partial f(w),\left \| v \right \|\leqslant\rho$

随机梯度下降法SGD，$w^{(1)}=0, w^{(t+1)}=w^{(t)}-\eta \nu_t, E[\nu_t|w^{(t)}]\in\partial f(w)$，f为凸函数，h有界B，$\nu$有界$\rho$，则$E[f(\bar{w})]-f(w^*)\leqslant\frac{B\rho}{\sqrt T}$

• 对于ERM，如果损失函数$L_S$的梯度是真实损失$L_D$梯度的无偏估计，则通过SGD可依概率收敛。
• 对于凸光滑学习问题，SGD收敛。

不等式

• 马尔可夫不等式，$$For\,X\geqslant 0, \forall a>0,P[Z\geqslant a]\leqslant \frac{E[Z]}{a}$$
• 切比雪夫不等式$$\forall a>0,P[|Z-E[Z]|\geqslant a]=P[(Z-E[Z])^2\geqslant a^2]\leqslant \frac{Var[Z]}{a^2}$$
• Hoeffding不等式：设 $X\in[a,b]$是一个随机变量，$E[X]=0$ $$\forall \lambda>0, E[exp(\lambda X)]\leqslant \exp(\frac{\lambda^2(b-a)^2}{8})$$ $$ P[|\frac{1}{m}\sum_iZ_i-\mu|>\epsilon]\leqslant 2\exp(-\frac{2m\epsilon^2}{(b-a)^2})$$
• Bennet不等式：假设$Z_i$为独立随机变量，均值为0，$P(Z_i\leqslant 1)=1$ $$\sigma^2\geqslant \frac{1}{m}\sum_i E[Z_i^2]$$
• Bernsein不等式：假设$Z_i$为独立随机变量，均值为0$$\forall i,P(Z_i\leqslant M)=1\Rightarrow \forall t>0, P[\sum Z_i>t]\leqslant \exp(-\frac{t^2}{\sum E Z_j^2+Mt/3})$$
• Slud不等式$$X\sim (m,p),p=\frac{1-\epsilon}{2}\Rightarrow P[X\leqslant \frac{m}{2}]\leqslant \frac{1}{2}(1-\sqrt{1-\exp(-\frac{m\epsilon^2}{1-\epsilon^2})})$$
• $\chi^2$随机变量的集中度$$P[Z\leqslant(1-\epsilon)k]\leqslant \exp(-\frac{\epsilon^2k}{6}) $$

参考文献

• Shai Shalev-Shwartz, etal, Understanding Machine Learning: From Theory to Algorithms, Cambridge University Press, 2014