机器学习西瓜书笔记---3.5、线性判别分析多分类学习

机器学习西瓜书笔记---3.5、线性判别分析多分类学习

一、总结

一句话总结：

就是利用【二分类学习器来解决多分类问题】

最经典的拆分策略有三种：【“一对一”】（One vs. One，简称OvO）、【“一对其余”】（One vs. Rest，简称OvR）和【“多对多”】（Many vs. Many，简称MvM）

 

1、多分类问题的拆分策略有三种？

【“一对一”（One vs. One，简称OvO）】：OvO将这N个类别【两两配对】，从而产生【N（N-1）/2个】二分类任务

【“一对其余”（One vs. Rest，简称OvR）】：【OvR则是每次将【一个类的样例作为正例】、所有其他类的样例作为反例来训练N个分类器】.在测试时若仅有一个分类器预测为正类，则对应的类别标记作为最终分类结果，如图34所示.若有多个分类器预测为正类，则通常考虑各分类器的预测置信度，选择置信度最大的类别标记作为分类结果

【“多对多”（Many vs. Many，简称MvM）】：MvM是每次【将若干个类作为正类，若干个其他类作为反类】.显然，【OvO和OvR是MvM的特例】.MvM的正、反类构造必须有特殊的设计，不能随意选取，这里我们介绍一种最常用的MvM技术：【“纠错输出码”（Error Correcting Output Codes，简称ECOO）】

 

2、最常用的MvM技术：【“纠错输出码”（Error Correcting Output Codes，简称ECOO）】？

【ECOC】 [Dietterich and Bakiri，1995]是【将编码的思想引入类别拆分】，并尽可能在解码过程中具有【容错性】. ECOC工作过程主要分为两步：

【编码】：【形成二分类训练集】：对N个类别做【M次划分】，每次划分将【一部分类别划为正类，一部分划为反类】，从而形成一个【二分类训练集】；这样一共产生M个训练集，可训练出M个分类器

【解码】：【返回预测标记组成编码中距离最小的】：M个分类器分别对测试样本进行预测，这些【预测标记组成一个编码】.将这个预测编码与每个类别各自的编码进行比较，【返回其中距离最小的类别作为最终预测结果】

 

 

二、内容在总结中

博客对应课程的视频位置：