机器学习-学习准则

1.学习准则

一个好的模型应该在所有取值上都与真实映射函数一致

2.损失函数 Loss Function

损失函数是一个非负实数函数,用来量化模型预测和真实标签之间的差异

以回归问题为例

平方损失函数 Quadratic Loss Function

\(\mathcal{L}(y,f(x;\theta))=\frac{1}{2}(y-f(x;\theta))^2\)

3.期望风险 Expected Risk

\(\mathcal{R}(\theta)=\mathbb{E}_{(x,y)\sim p_r(x,y)}[\mathcal{L}(y,f(x;\theta))]\)
\(理想的学习准则应该是损失函数在真实的分布(p_r(x,y))下的期望最小化\)
\(但是实际这个期望风险无法计算,因为不知道 p_r(x,y)\)
\(根据大数定律,E_{p_r}[f(x)],通过采集p_r分布下的样本x^{(1)},...,x^{(N)},E\approx \frac{1}{N}[f(x^{(1)})+...+f(x^{(N)})]\)
\(样本就是训练集\)

期望风险可以近似为

\(训练数据:{x^{(n)},y^{(n)}}^N_{n=1}\)
\(经验风险(Empirical\ Risk)\)
\(\mathcal{R}_{D}^{emp}(\theta)=\frac{1}{N}\sum_{n=1}^{N}\mathcal{L}(y^{(n)},f(x^{(n)};\theta))\)
\(当N\rightarrow \infty,经验风险趋近于期望风险\)

经验风险最小化 Empirical Risk Minimization,ERM

\(寻找一个参数\theta^{*},使得经验风险函数最小化\)
\(\theta^{*}=argmin_{\theta}\mathcal{R}_{D}^{emp}(\theta)\)

当风险函数确定，机器学习问题转为一个最优化问题

4.凸,非凸问题

5.泛化误差

期望风险
\(\mathcal{R}(\theta)=\mathbb{E}_{(x,y)\sim p_r(x,y)}[\mathcal{L}(y,f(x;\theta))]\)
经验风险(Empirical Risk)
\(\mathcal{R}_{D}^{emp}(\theta)=\frac{1}{N}\sum_{n=1}^{N}\mathcal{L}(y^{(n)},f(x^{(n)};\theta))\)

泛化误差
\(\mathcal{G}_D(\theta)=\mathcal{R}(\theta) - \mathcal{R}_{D}^{emp}(\theta)\)

6.正则化

降低模型复杂度