ORB_SLAM2 源码阅读 ORB_SLAM2::ORBextractor
整体架构
构造函数进行初始化,传入设定几个重要的成员变量。nfeatures(特征点的个数)、nlevels(构造金字塔的层数)、scaleFactor(金字塔中相邻层图像的比例系数)、iniThFAST(检测 FAST 角点的阈值)、minThFAST(在 iniThFAST 没有检测到角点的前提下,降低的阈值)。
括号运算符对输入的图像进行角点检测。1. ComputePyramid 函数构造金字塔。2. ComputeKeyPointsOctTree 对金字塔图像进行角点检测。3. 计算角点的描述子,输出。
括号运算符 operator()
括号运算符输入图像,并且传入引用参数 _keypoints, _descriptors 用于存储计算得到的特征点及其描述子。
这种设计使得只需要构造一次 ORBextractor 就可以为所有图像生成特征点。
ComputePyramid 函数
我认为 ComputePyramid 函数中调用的 OpenCV 函数 copyMakeBorder 是没有意义的。
当 level == 0 时,或许有用,mvImagePyramid[level] 指向 temp 图像的中间,将 image 复制了进去。
当 level != 0 是,resize 函数就已经完成了工作。
copyMakeBorder 只是对 temp 图像的外围进行了修改,而 temp 图像的外围并不存在于影像金字塔中。
ComputeKeyPointsOctTree 函数
对影像金字塔中的每一层图像进行特征点的计算。具体的计算过程是将影像格网分割为小区域,每一个小区域独立使用 FAST 角点检测。检测完成之后使用 DistributeOctTree 函数对检测得到的所有角点进行筛选,使得角点分布均匀。
划分格网计算
I 确定计算角点的范围:
对影像“裁边”周围 EDGE_THRESHOLD-3 的像素不进行角点检测。
const int minBorderX = EDGE_THRESHOLD-3;
const int minBorderY = minBorderX;
const int maxBorderX = mvImagePyramid[level].cols-EDGE_THRESHOLD+3;
const int maxBorderY = mvImagePyramid[level].rows-EDGE_THRESHOLD+3;
II 确定确定格网的数量:
nCols, nRows 是宽高方向上格网的的数量,wCell, hCell 是每个格网的宽和高。
使用这种方式计算能够使得最后不完整的 Cell 尽可能不会太小。W 是预估 Cell 的宽高。
const float W = 30;
const int nCols = width/W;
const int nRows = height/W;
const int wCell = ceil(width/nCols);
const int hCell = ceil(height/nRows);
如 640*480 的影像,进行裁边之后是 608*448。计算得到:
nCols == 20, wCell == 31;
nRows == 14, hCell == 32;
nCols * wCell == 620;
620 % 31 == 19; // constrast to 608 % 30 == 8
nRows * hCell == 448;
III 循环生成每个 Cell 的角点:
最后计算的 Cell 的宽或高不会小于7。因为 FAST 计算的邻域是直径为7的 BressenHam 圆。
数字7与代码中出现的数字6对应。
最后生成的 FAST 角点存放在 vToDistributeKeys 中,坐标是以 (minBorderX, minBorderY) 为原点(左上)的坐标。
八叉树分配
DistributeOctTree 这个是八叉树分配的意思,但是函数中每次对节点进行分裂都是分裂成4个。
// If more than one point, subdivide
ExtractorNode n1,n2,n3,n4;
lit->DivideNode(n1,n2,n3,n4);
Excuse me,这东西叫 DistributeQuadTree 好不好?毕竟是在平面上划分。
I 水平划分:
将影像进行水平划分,nIni 是水平划分的数量,hX 是水平划分格子的宽度。
const int nIni = round(static_cast<float>(maxX-minX)/(maxY-minY));
const float hX = static_cast<float>(maxX-minX)/nIni;
注:这里有 bug,如果输入的是一张 宽高比 小于 0.5 的图像,nIni 计算得到 0,计算 hX 会报错。
将所有的特征点分配到 lNodes 的 node 中,vpIniNodes 存在的意义只是分配特征点。
对于每个 node 而言,若其只有一个特征点,bNoMore 为 true,表明其不用再继续划分。
II Node 四叉分裂:
进入循环
while(!bFinish)
{
...
}
i. 循环首先遍历 lNodes 中的每一个节点,对节点进行分裂:
ExtractorNode n1,n2,n3,n4;
lit->DivideNode(n1,n2,n3,n4);
分裂成 n1, n2, n3, n4 四个节点,将这四个节点中含有特征点的节点存入 lNodes 的最前面,因为是向后遍历的,不希望一次遍历下来会遍历到前面加进来的节点。如果分裂出的节点中特征点的个数大于1,说明还可以分裂,将特征点数、节点的指针存入 vSizeAndPointerToNode 中,nToExpand 计数器加1,后面会用于判断可分裂的能力。
ii. 在分裂成功之后进行判断
判断如果当前节点数量大于等于需要的特征点数量(N),或者分裂过程并没有增加节点的数量,说明不需要再进行分裂了,bFinish 设置为 true,可以跳出循环。
这个判断好像不是很充分,因为前面的分裂是整体的,只用一个数量参数来判断,有点牵强,有些分裂出的节点可以继续分裂。
如果上面的条件不满足,判断条件
((int)lNodes.size()+nToExpand*3)>N
是否满足。满足表明了再如果所有的节点再进行一次完全分裂(所有节点都能分裂成4个节点),可以满足特征点数量的要求。
vSizeAndPointerToNode 是前面分裂出来的子节点(n1, n2, n3, n4)中可以分裂的节点。按照它们特征点的排序,先从特征点多的开始分裂,分裂的结果继续存储在 lNodes 中。每分裂一个节点都会进行一次判断,如果 lNodes 中的节点数量大于所需要的特征点数量,退出整个 while(!bFinish) 循环。
如果进行了一次分裂,并没有增加节点数量,不玩了,退出整个 while(!bFinish) 循环。
III 取最大响应点:
在前面的工作完成时 lNodes 中节点的数量应该大于所需要的特征点数量 N,如果不是大于,那么很抱歉,也只能这样子了。
取出每一个节点中最大响应的特征点,存储进 vResultKeys 中。
函数返回。
总结
剩下的代码是在 ComputeKeyPointsOctTree 函数中对过滤出的特征点坐标进行调整,调整到整个图像的坐标,计算特征点的方向。
在 operator() 函数中计算特征点的描述子。