监督学习模型分类 生成模型vs判别模型 概率模型vs非概率模型 参数模型vs非参数模型
判别模型(discriminative model)和生成模型(generative model):预测后验概率还是联合概率
- 判别模型:
直接对输入空间到输出空间的映射h(x)做预测,或者直接对条件概率分布P(y|x)做预测
PM,SVM,NN,KNN,LR,DT
模型一般更准确
不需要预设条件
鲁棒性更高
- 生成模型:
先对概率分布P(x,y)做预测,根据贝叶斯公式得到P(y|x)
GDA,NB,HMM
收敛速度一般更快
可以训练包含隐变量的模型
需要假设的先验分布
可以还原出联合概率分布P(x,y)
可以还原出判别模型,但反过来不行
概率模型(probability model)和非概率模型(nonprobability model):预测概率还是预测映射
- 非概率模型:
直接对输入空间到输出空间的映射h(x)做预测
PM,SVM,NN,KNN
- 概率模型:
对条件概率分布P(y|x)做预测
LR,DT,GDA,NB,HMM
参数模型(parametric model)和非参数模型(nonparametric model):模型由训练数据本身构成还是模型参数构成
- 参数模型:
模型中包含若干参数,训练完成则训练数据无用,根据模型参数预测结果
LR,PM,GDA,NB,简单NN,HMM
需要训练数据较少,训练较快
需要假设空间与实际映射空间吻合
模型容易理解
不适合实际映射隐藏的情况
- 非参数模型:
模型由训练数据本身构成
SVM,KNN,DT
需要训练数据较多,训练较慢
不需要假定假设空间,如果训练集无限大可以无限逼近实际映射
训练集小时容易过拟合
预测性能高
参考文献:
https://blog.csdn.net/qq_39521554/article/details/79134274
https://blog.csdn.net/pandamax/article/details/78636834
https://www.cnblogs.com/zeze/p/7047630.html