选择与稀疏学习

子集搜索与评价
过滤式选择
过滤式方法先对数据集进行特征选择，然后再训练学习器，特征选择过程与后续学习器无关。这相当于先用特征选择过程对初始特征进行“过滤”，再用过滤后的特征来训练模型。
Relief，是一种著名的过滤式特征选择方法。该方法设计了一个“相关统计量”来度量特征的重要性。
显然，Relief的关键是如何确定相关统计量。“猜中近邻”和“猜错近邻”。
Relief是为二分类问题设计的，其扩展变体Relief-F能处理多分类问题。
包裹式选择
与过滤式特征选择不考虑后续学习器不同，包裹式特征选择直接把最终将要使用的学习器的性能作为特征自己的评价准则。一方面，包裹式特征选择比过滤式特征选择更好；另一方面，由于再特征选择过程中需要多次训练学习器，因此计算开销通常很大。
LVW是一个典型的包裹式特征选择方法。
嵌入式选择与L1正则化