【目标检测】一、初始的R-CNN与SVM

1.流程

为什么要用SVM而不是CNN最后一层的softmax?

取什么模型必然是有标准衡量,这个流程取得是书上[4]写的,作者说他得实验证明SVM比FC的mAP要高,所以我流程暂且这样画了。

R-CNN取的是alexNet的迁移学习进行微调,它原来的训练数据就是随机的,而为了避免正样本数据过小导致卷积网络过拟合,正样本的框中没有SVM训练时严格,

也即说,训练中,相同的数据,在SVM里正样本卡得更严格,让SVM判别是正样本的概率也会低一些,那SVM的mAP高一些也能理解。

那么又有一个新问题,既然alexNet后接softmax结果不理想,那用fc+softmax替代svm呢?这个讨论在下节。 

 

(刚好有一个图说明这个mAP怎么算,它更关注在确实有目标的建议框里面,模型给出的“信心”是多少)

引自:https://blog.csdn.net/asasasaababab/article/details/79994920

 

 

2.数学概念

SVM(Support Vector Machines),主要想找到分离一批数据的超平面,约定是,找到距离这个超平面最近的点做距离该点最远的线(/面)。

支持向量(support vecotr)就是离超平面最近的点,SVM由此命名。

而规划超平面涉及到核(Kernal)函数概念,最终计算SVM会是解决不等式约束问题,这里面就有多种方式。

 

(原始的SVM仅用于二分类,分类标签按计算需求确定,可能是0和1,或者是-1和1,以此区分两个类别。多种分类需要动刀函数距离)

对于一个二维平面来说,如果能用一条直线区分出两批数据,那么如何确定这条直线呢(可能会有多条),

SVM原则是找到两批数据中点距离目标线最近的点,距离最大的解。这听起来有很多个未知数

已知点A,假设超平面表达式(目标函数)为 ,那么点A对y的距离(推导过程让人脑闭,有需要再深究):

 

这个yi是取-1和1的标签值,注,yi的i不同书写在了不同位置(上标或下标),但都是表示标签。

为了下文计算方便,把分子拎出来,为了掉绝对值,此处添加变量yi(表示标签值,i = 1,2,3,..n,表示第几个数据)[2], 

yi取-1或1,以使分子结果不变,

设定下式为函数距离(或称为函数间隔),可以表示点到超平面的距离远近。

目标是找到函数距离最小值,

下一步是求距离超平面最近的点对超平面的距离最大化之解:

优化问题,分成两个整体来处理,

已知要求的函数间隔最小,那么有:

整理一下,

又  不影响margin取值,此处可令其为1,(?[2]笔者并不太明白),

求||w||最小值等价于||w||²/2的最小值,为了求导方便,上式可转化为:

为了求解线性可分支持向量机的最优化问题,将它作为原始最优化问题,

应用拉格朗日对偶性,通过求解对偶问题(dual problem)得到原始问题(primal problem)的最优解,这就是线性可分支持向量机的对偶算法,

这样做的优点:一是对偶问题往往更容易求解;二是自然引入核函数,进而推广到非线性分类问题。

——《统计学习方法》

关于如何求解拉格朗日此处不叙述,详见[2][3],

拉格朗日乘数法式子:

省略化简,得到约束:

注,尖括号表示向量内积(也即点积)。

由于此时假设数据100%线性可分,然而真实数据并不都是那么“干净”,此处引入松弛变量(slack variable),以允许有些数据点处于分隔面错误的一侧,约束条件变为:C≥α ≥ 0 ,

 

如何求解,传统地有二次规划求解(quadratic solver),但是这个计算量大,John Platt发布了一个叫SMO(Sequential Minimal Optimization,序列最小优化)的算法以减少计算。

简化的SMO伪代码:

创建一个α向量并将其初始化为0的向量

当迭代次数小于最小迭代次数时(外循环):

对数据集中的每个数据向量(内循环):

  如果该数据向量可以被优化:

    随机选择另外一个数据向量

    同时优化这两个向量

    如何这两个向量不能被同时优化,退出内循环

如果所有向量都没被优化,增加迭代数目,继续下一次循环

 

核(kernel)函数

如果一批数据并没有呈现明显的直线划分规律,例如呈现环分布的划分规律,

那么求解这个低纬度的非线性问题,最好就把它转化成高纬度的线性问题,前者转化到后者,这个映射过程用核函数满足。

因为SVM的向量都是内积表示,这里面把内积运算替换成核函数的方式,就叫做核技巧(kernel trick)或核变电(kernel substation)。

径向基核函数(Radial Basis Function),是某种沿径向对称的标量函数,是一个常用的度量两个向量距离的核函数。

例如,线性问题,是 ,非线性问题,假设核函数取径向基函数的高斯版本:

(?)其中,σ是用户定义的用于确定到达率(reach)或者说函数值跌落到0的速度参数。

def kernelTrans(X, A, kTup):
  m,n = shape(X)
  K = mat(zeros((m, 1)))
  if kTup[0] == 'lin' : K = X*A.T
  elif kTup[0] == 'rbf' :
      for j in range(m):
          deltaRow = X[j, :] – A  # 公式
          K[j] = deltaRow*deltaRow.T  # 平方
      K = exp(K / (-1*kTup[1]**2))  # 元素间的除法
  else : raise NameError('That Kernel is not recognizaed~ ')
  return K

class optStruct:
  def __init__(self, dataMatIn, classLabels, C, toler, kTup):
      self.X = dataMatIn
      …
      self.m = shape(dataMatIn)[0]
      self.K = mat(zeros((self.m, self.m)))
      for i in range(self.m):
          self.K[:,i] = kernalTrans(self.X, self.X[i, :], kTup)

 

SVM用于数值型数据,可视化分割超平面,其主要求解在于两个变量的调优,几乎所有分类问题都能用它,

原始的SVM是一个二分类器,应对多类问题需要调整SVM,

但其核函数的选择,以及核函数里自定义变量的影响,使得这个最优解需要大量训练。

 

=======================================================

资料:

[1] https://baike.baidu.com/item/拉格朗日乘数法/8550443?fromtitle=拉格朗日乘子法

[2] https://zhuanlan.zhihu.com/p/146515617

[3] https://blog.csdn.net/m0_37687753/article/details/80964472?spm=1001.2014.3001.5501

[4]杜鹏、谌(chen2)明、苏统华 编著《深度学习与目标检测》

Peter Harrington著《机器学习实战》

https://blog.csdn.net/m0_37687753/article/details/80964487

https://blog.csdn.net/laobai1015/article/details/82763033

https://baike.baidu.com/item/函数间隔/23224467?fr=aladdin

 

按这个计算原理来说,如果有一份数据,代入到SVM的分隔面里,为0是在面上,如果值>0,是正分类,<0是负分类;

此处可以观察到,如果值越大,即距离分隔面越远,那分类正确性也会越大。

如何改造SVM处理多种分类呢?

改造SVM为多分类识别:

1 直接法:在目标函数上修改,将多个分类面的参数求解合并成一个最优化问题,这种计算复杂,仅适合小型问题。

2 间接法:把多分类转变成多个二分类问题,常见有one-against-one和one-against-all两种。

一对多(one-versus-rest,简称OVR SVMs)

 K个分类就有k个SVM,例如ABC..N共n个分类,那么

 SVM1:设A为正集,BC..N为负集;

 SVM2:设B为正集,AC..N为负集;

 ……

 SVMn:设N为正集,AB..(N-1)为负集;

一对一(one-versus-one)

 K个分类就有k(k-1)/2个SVM,排列组合任意两个分类做SMV,再总体计算单个分类得分。

层次SVM,把分类做成二叉树结构。

资料:

http://blog.itpub.net/29829936/viewspace-2168864/

 

3.应用代码

笔者还没有实现过,暂且搁置。

 

posted @ 2021-06-24 18:00  Carcar019  阅读(813)  评论(0编辑  收藏  举报