机器学习基础

降噪：存在一个未知的损坏过程，该过程可以根据输入的正确样例生成损坏样例。而降噪就是对抗该未知的损坏过程用的，它根据损坏过程得到的损坏样例反过来预测出正确的样例。

密度估计或者概率分布函数估计：描述为模型相比别的任务隐式地捕捉样本结构，密度估计需要显式地知道样本的结构，还需要知道样本簇在哪里集中，在哪里分散，从而根据这个结果能够完成下游任务。个人理解就是其他都是判别任务，而这个是生成任务。

容量（capacity），过拟合，欠拟合

容量（其实还可以翻译成能力），如果可以在一个数据集上很难学习，那么就是low capacity；如果很轻松地过拟合，那就是high capactiy。

泛化generalization

• 奥卡姆剃刀原则
• VC维（Vapink-Chervonenkis dimension）
• 超参数和验证集
• 交叉验证

评估器、偏置、方差

• 点估计（point estimation）
• 函数估计（function estimation）

极大似然估计

• 条件对数估计和均方差

贝叶斯统计

监督学习算法

无监督学习算法

• PCA
• k-means聚类

随机梯度下降

构建一个机器学习算法

激励深度学习的挑战

• 维度灾难
• 局部常量化和平滑正则
• 流学习（manifold learning）

---

• continuous vs discrete 连续的 vs 离散的
• implicit vs explicit 隐式地 vs 显式地
• fine-grained vs coarse-grained 细粒度 vs 粗粒度
• intrinsic vs extrinsic 固有的，内在的，本身的 vs ...
• tractable vs intractable 易处理的 vs ...
• rigid/rigorous/strict 严格的，严厉的，死板的
• anomaly 异常