机器学习面试题总结2

1 LR与SVM区别

 

 

逻辑回归相对来说模型更简单,好理解,实现起来,特别是大规模线性分类时比较方便.而SVM的理解和优化相对来说复杂一些.但是SVM的理论基础更加牢固,有一套结构化风险最小化的理论基础,虽然一般使用的人不太会去关注.还有很重要的一点,SVM转化为对偶问题后,分类只需要计算与少数几个支持向量的距离,这个在进行复杂核函数计算时优势很明显,能够大大简化模型和计算

 

2 讲em算法

 

最大期望算法，是一种迭代算法，可用于聚类。

该算法用于含有隐变量的概率参数模型的最大似然估计或极大后验概率估计。其中概率模型依赖于无法观测的隐藏变量。

最大期望算法经过两个步骤交替进行计算：

第一步是计算期望(E)，利用对隐藏变量的现有估计值，计算其最大似然估计值;

第二步是最大化(M)，最大化在 E 步上求得的最大似然值来计算参数的值。

M 步上找到的参数估计值被用于下一个 E 步计算中，这个过程不断交替进行。

总体来说，EM的算法流程如下：

1.初始化分布参数

2.重复直到收敛：

E步骤：估计未知参数的期望值，给出当前的参数估计。

M步骤：重新估计分布参数，以使得数据的似然性最大，给出未知变量的期望估计。

 

3 svm中rbf核函数与高斯核函数的比较

径向基函数 (Radial Basis Function 简称 RBF), 就是某种沿径向对称的标量函数。 通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数 , 可记作 k(||x-xc||), 其作用往往是局部的 , 即当x远离xc时函数取值很小。最常用的径向基函数是高斯核函数 ,形式为 k(||x-xc||)=exp{- ||x-xc||^2/(2*σ^2) } 其中xc为核函数中心,σ为函数的宽度参数 , 控制了函数的径向作用范围。

rbf核函数主要用于线性不可分的情形。参数多，分类结果非常依赖于参数。

Gauss径向基函数则是局部性强的核函数，其外推能力随着参数σ的增大而减弱。