V-SLAM技术及应用（论坛分享整理）

参加了奥比中光公司的3D和人工智能前沿论坛，其中对V-SLAM技术及应用分享主题和主要内容进行了整理，有PPT可以分享，可联系我。yangliwei12@sina.com

一、功能

实时定位和环境感知

二、挑战

Ø  精度和稳定性

ü  动态变化

ü  视觉特征匹配不准

ü  优化计算不稳定

Ø  实时性

ü  场景规模大

ü  计算维度高

ü  低功耗设备计算能力有限

三、模型

Ø  多视频输入，实时视频

Ø  高效的运动恢复结构

Ø  (三维先验)-视觉同时定位于地图构建（VSLAM）

Ø  时空一致性深度恢复于重建

Ø  移动定位与虚拟融合引擎

四、传感器

Ø  激光雷达或深度传感器

Ø  摄像头：单目/双目/多目等

Ø  惯性传感器（IMU，陀螺仪、加速度计）

五、运行结果

设备根据传感器的信息

计算自身位置（在空间中的位置和朝向）

构建环境地图（稀疏或者稠密的三维云点）

六、系统框架

输入传感数据，前台线程处理，实时恢复每个时刻的位姿；输出设备的实时位姿，三维点云。

后台线程，进行全局优化，减少误差累积，场景回路检测。

七、基本原理：多视图几何

八、关键思路：

Ø  稳定求解

ü  约束的正确性；

ü  约束的充分性：

Ø  高效求解

ü  从粗到细的求解策略

ü  增量式计算

九、动态场景SLAM的主要问题

Ø  多个相同，相似物体的换位；

Ø  特征点数量过多

十、Keyframe-based SLAM vs Filtering-based SLAM

Ø  优点：

ü  精度高

ü  效率高

ü  扩展性好

Ø  缺点

ü  对强旋转敏感

Ø  共同的挑战

ü  快速运动

ü  运动模糊

ü  特征不够丰富

十一、Visual-inertial SLAM

Ø  使用IMU数据提高鲁棒性

ü  基于滤波的方法：MSCKF,SLAM in Project Tango,ARCore,ARkit

ü  基于非线性优化的方法：OKVIS,VINS

Ø  没有真实IMU数据的情况的处理

十二、RKSLAM系统框架

Ø  基于多单应性矩阵的跟踪

Ø  基于滑动窗口的姿态优化

十三、RKD-SLAM系统框架

Ø  快速鲁棒性的基于RGB-D的跟踪方法

Ø  快速的增量集束调整算法

Ø  高效的基于关键帧的深度表达和融合方法

十四、应用

Ø  视频分割与编辑

Ø  增强现实

Ø  基于RGB-D惯性SLAM的AR测量

Ø  遮挡处理