《统计机器学习》中出现的名词释义

1. 定义、研究对象、方法
2. 监督学习
3. 模型选择:正则化、交叉验证、泛化能力、生成模型、判别模型
4. 分类问题、标注问题、回归问题

对索引内容的回忆（不记得的内容标为红色）：
1. 奥卡姆剃刀(Occam's razor):在复杂的模型和简单的模型前，选择简单的模型。能用一个变量做的事情不要用多个变量，追求较低的复杂度。
2. 半监督学习 semi-supervised learning：相对监督学习而言，监督学习对训练集的标签已经做好了标注，而半监督学习
同时使用标注数据和未标注数据执行有监督/无监督学习的方法。
3. 贝叶斯估计 bayesian estimation：用贝叶斯学派的理论进行估计
4. 比特 bit ：计算机文件的最小单位
5. 边 edge：结点之间连接的线
6. 标注 tagging：对一个对象添加一个常量属性
7. 不完全数据：

8. 参数空间：参数可能的取值范围
The parameter space is the space of possible parameter values that define a particular mathematical model, often a subset of finite-dimensional Euclidean space.
9. 残差：abs(yi-yi尖)
A residual is the vertical distance between a data point and the regression line.
10. 测试集：用于计算模型精确度的数据集，通常是带标签的数据
11. 测试数据：用于计算模型精确度的数据
12. 测试误差：模型计算结果与测试集真实结果的差距
13. 策略：解决问题的方式
14. 成对马尔可夫性：给定两个非邻接变量，则这两个变量关于其他变量（即不是这两个变量的任何其他变量）条件独立。
15. 词性标注：为分词结果中的每个单词标注一个正确的词性的程序
16. 代价函数： a function that maps an event or values of one or more variables onto a real number intuitively representing some "cost" associated with the event. (a method of evaluating how well your algorithm models your dataset.)
17. 代理损失函数：Surrogate loss function
18. 带符号的距离

19. 单元：特征空间中，对每个训练点xi,距离该点比其他点更近的所有点组成一个区域叫单元
20. 动态规划：Dynamic Programming is a method for solving a complex problem by breaking it down into a collection of simpler subproblems, solving each of those subproblems just once, and storing their solutions using a memory-based data structure (array, map,etc).
21. 对偶算法：

22. 对偶问题：对偶问题是利用拉格朗日对偶性将原始问题转换为对偶问题，通过解对偶问题得到原始问题的解。
23. 对数几率：
24. 对数似然函数：
25. 对数损失函数：
26. 对数线性模型：
27. 多数表决规则：少数服从多数
28. 多项逻辑回归模型：
29. 多项式核函数：
30. 二项逻辑回归模型：