机器学习/数据挖掘(机器学习基础部分）——摘自牛客网

逻辑回归怎么实现多分类　　

　　方式一:修改逻辑回归的损失函数,使用softmax函数构造模型解决多分类问题,softmax分类模型会有相同于类别数的输出,输出的值为对于样本属于各个类别的概率,最后对于样本进行预测的类型为概率值最高的那个类别。

　　方式二:根据每个类别都建立一个二分类器,本类别的样本标签定义为1,其它分类样本标签定义为0,则有多少个类别就构造多少个逻辑回归分类器，若所有类别之间有明显的互斥则使用softmax分类器,若所有类别不互斥有交叉的情况则构造相应类别个数的逻辑回归分类器。

SVM中什么时候用线性核什么时候用高斯核?

　　当数据的特征提取的较好,所包含的信息量足够大,很多问题是线性可分的那么可以采用线性核。

　　若特征数较少,样本数适中,对于时间不敏感,遇到的问题是线性不可分的时候可以使用高斯核来达到更好的效果。

SVM与LR的区别?

　　1，LR是参数模型,SVM为非参数模型。

　　2，LR采用的损失函数为对数损失,而SVM采用的是合页损失。

　　3，在学习分类器的时候,SVM只考虑与分类最相关的少数支持向量点，而逻辑回归考虑全局

　　4，在解决非线性问题时，支持向量机采用核函数的机制，而LR通常不采用核函数的方法

　　5，SVM的损失函数就自带正则（损失函数中的1/2||w||^2项），这就是为什么SVM是结构风险最小化算法的原因。而LR必须另外在损失函数上添加正则项！

机器学习中的距离计算方法?

　　欧式距离，曼哈顿距离，闵可夫斯基距离，切比雪夫距离

为什么说朴素贝叶斯是高偏差低方差？

　　刻画模型复杂度的时候，有这么个观点，认为Error = Bias + Variance。这里的Error大概可以理解为模型的预测错误率，是有两部分组成的，一部分是由于模型太简单而带来的估计不准确的部分（Bias），另一部分是由于模型太复杂而带来的更大的变化空间和不确定性（Variance）。

　　朴素贝叶斯简单的假设了各个数据之间是无关的，是一个被严重简化了的模型。所以，对于这样一个简单模型，大部分场合都会Bias部分大于Variance部分，也就是说高偏差而低方差。

　　在实际中，为了让Error尽量小，我们在选择模型的时候需要平衡Bias和Variance所占的比例，也就是平衡over-fitting和under-fitting。

朴素贝叶斯算法对缺失值敏感吗？

　　No

训练集中类别不均衡，哪个参数最不准确？

　　准确度（Accuracy）对于二分类问题来说，正负样例比相差较大为99:1，模型更容易被训练成预测较大占比的类别。因为模型只需要对每个样例按照0.99的概率预测正类，该模型就能达到99%的准确率。

SVM的硬间隔，软间隔表达式

SVM使用对偶计算的目的是什么，如何推出来的

　　目的有两个：一是方便核函数的引入；

　　　　　　　　二是原问题的求解复杂度与特征的维数相关，而转成对偶问题后只与问题的变量个数有关。由于SVM的变量个数为支持向量的个数，相较于特征位数较少，因此转对偶问题

　　通过拉格朗日乘子式使带约束的优化目标转为不带约束的优化函数，使得W和b的偏导数等于零，带入原来的式子，再通过转成对偶问题。

如果给你一些数据集，你会如何分类

　　根据数据类型选择不同的模型，如Lr或者SVM，决策树。假如特征维数较多，可以选择SVM模型，如果样本数量较大可以选择LR模型，但是LR模型需要进行数据预处理；假如缺失值较多可以选择决策树。选定完模型后，相应的目标函数就确定了。还可以在考虑正负样例比比，通过上下集采样平衡正负样例比。

分层抽样的适用范围

　　分层抽样利用事先掌握的信息,充分考虑了保持样本结构和总体结构的一致性,当总体由差异明显的几部分组成的时候,适合用分层抽样。