《视觉十四讲》——第七章读书笔记

Ch07 视觉里程计Ⅰ

1 特征点

• 特征点由两部分组成：关键点和描述子。
• 关键点：在图像中的位置
• 描述子：描述该关键点周围像素的信息，是一个空间向量；只要两个特征点的描述子在向量空间上的距离相近，就可以认为他们是同样的特征点。

2 ORB特征

2.1 组成

• 关键点：Oriented FAST,一种改进的FAST角点
• 描述子：BRIEF

2.2 ORB特征提取步骤

• FAST角点提取：找出图像中的焦点；ORB增加了特征点的主方向，为描述子增加了旋转不变特性。
• BRIEF描述子：对前一步提取出特征点的周围图像区域进行描述。

2.3 FAST角点

2.3.1 思想

• 主要检测局部像素灰度变化明显的地方；
• 如果一个像素与它邻域的像素差别较大，那它更可能是角点

2.3.2 角点检测过程

• 在图像中选取像素p，假设它的亮度为Ip

• 设置一个阈值T(比如Ip的20%)

• 以像素p为中心, 选取半径为3的圆上的16个像素点

• 假如选取的圆上，有连续的N个点的亮度大于Ip+T或小于Ip−T，那么像素p可以被认为是特征点 (N 通常取12，即为FAST-12。其它常用的 N 取值为 9 和 11， 他们分别被称为 FAST-9，FAST-11)

• 循环以上四步，对每一个像素执行相同的操作

• 为了更高效的计算，增加了两项技术：

  • 预测试操作（对于每个像素，直接检测领域圆上的第1，5，9，13个像素的亮度，三个以上符合条件，才能作为角点）
  • 非极大值抑制（在一定区域内仅保留极大值的角点，避免角点集中）

2.3.3 问题及改进

问题	改进
FAST 特征点数量很大且不确定	对原始 FAST 角点分别计算 Harris 响应值，然后选取前 N 个具有最大响应值的角点， 作为最终的角点集合
FAST 角点不具有方向信息	特征的旋转是由灰度质心法
由于它固定取半径为 3 的圆，存在尺度问题	尺度不变性由构建图像金字塔，并在金字 塔的每一层上检测角点来实现

2.3.4 灰度质心法

质心是指以图像块灰度值作为权重的中心

• 在一个小的图像块 B 中，定义图像块的矩为：
  
• 通过矩可以找到图像块的质心：
  
• 连接图像块的几何中心O与质心C，得到一个方向向量OC，于是特征点的方向可以定义为：
  

2.4 BRIEF描述子

• 二进制描述子，128维由0，1组成的向量
• 0，附近的像素值小于这个点的像素值；1，为大于
• 随机选点进行比较

3 特征匹配

• 暴力匹配
• 快速近似最近邻

4 对极几何

4.1 对极约束

下面这个式子，称为对极约束，几何意义为O1、O2、P在一个平面，对极约束中包含了平移与旋转。

把式子简化得到，本质矩阵E和基础矩阵F

4.2 本质矩阵

4.2.1 性质

• 由平移矩阵t与旋转矩阵R组成，有5个自由度；
• 若一个矩阵式3*3矩阵，则为本质矩阵，则其三个奇异值中两个相同，第三个为0；

4.2.2 本质矩阵求解

• 8点法https://blog.csdn.net/weixin_34060741/article/details/86235942?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.add_param_isCf&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.add_param_isCf
• 改进8点法
  在构造解的方程之前对输入的数据进行适当的归一化。即在形成8点算法的线性方程组之前，图像点的一个简单变换（平移或变尺度）将使这个问题的条件极大地改善，从而提高结果的稳定性。

4.2.3 运动恢复

这个过程是由E的奇异值分解得到的。设E的奇异值分解为
其中U,V都是正交矩阵， 为奇异值矩阵。
另外，由线性方程组求得的E可能不满足E的性质，通常做法是把八点法求得的E进行奇异值分解，会得到奇异值矩阵（
），最后得到

4.3 单应矩阵

5 三角测量

目标：使用三角测量的方法来估计地图点的深度。
定义：通过在两处观察同一个点的夹角，确定该点的距离。

方法：求解两个特征点的深度s1,s2,设x1,x2为两个特征点的归一化坐标


根据上式计算s2，知道了s2,再计算s1。