AR增强现实 Augmented Reality
增强现实(Augmented Reality,简称 AR),是一种实时地计算摄影机影像的位置及角度并加上对应图像的技术,这样的技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。这样的技术最早于1990年提出。随着随身电子产品运算能力的提升。增强现实的用途越来越广。
AR系统具有三个突出的特点:①真实世界和虚拟世界的信息集成;②具有实时交互性;③是在三维尺度空间中增添定位虚拟物体。AR技术可广泛应用到军事、医疗、建筑、教育、project、影视、娱乐等领域。
分类:1、基于视觉的AR;2、基于GPS及方向传感器的AR。
基于视觉的AR按技术种类可分为:基于标记(Marker Based)和非基于标记 (Markerless)两大类。AR 的核心技术关键都是现实目标的三维跟踪(3D Tracking)的问题,有时也说是六度自由度跟踪(6DOF)问题。
基于标志又能够分为:固定模板类与自己定义模板类。
固定模板:这样的模式已经比較成熟了吧,大名鼎鼎的ARToolKit/plus,ARTag,ARTag在抗遮挡性上优于ARToolkit,后来的ARToolKit/Plus採用的应该时间ARTag的方法。
自己定义模板:原理和固定模板AR大致同样。差就差在模板的检測上,主要是通过检測特征点,然后依据不同帧间对应特征点的位置变化求得[R|t]矩阵,BazAR便是这样的类型的,其它的像以下这个链接。用非常少的代码实现了这样的类型AR的demo,http://www.morethantechnical.com ... ar-in-opencv-wcode/ 。这个代码里用的是光流法进行特征点的跟踪。以下这个链接的代码,用的是surf特征,http://morethantechnical.googlecode.com/svn/trunk/opencv_ar/ ,无论怎么样除了特征不同,坐标系变换的原理都和上一篇文章类似。在OpenCV中提供了一些函数能够轻松实现坐标系变换,比方solvePnP和cvFindHomography。
基于无标志AR:代表作是PTAM/M,Mixare,将是AR未来的发展方向
跟踪技术能够大致分成两大类,一类是基于特征的跟踪(Feature Based Tracking),比方通过跟踪从输入图像中抽取的特征点,特征边缘等完毕目标的三维运动预计和跟踪。还有一类是基于模板的跟踪(Template Based Tracking)即通过匹配部分输入图像的灰度图实现跟踪。
基于特征的跟踪 Feature Based Tracking颇具代表性的工作是牛津大学project系机器人研究所的PTAM。 參见Georg Klein 留在大学的主页http://www.robots.ox.ac.uk/~gk/PTAM/ 能够下载学习源代码。
基于模板的的跟踪 Template Based Tracking颇具代表性的工作是洛桑联邦理工大学计算机视觉实验室的工作。见 Vincent Lepetit主页的系列实时跟踪的文章 http://cvlab.epfl.ch/~lepetit/ 另外也值得下载学习Vincent的合作者Stefan Hintersser 主页 http://campar.in.tum.de/Main/StefanHinterstoisser 上的源代码,大部分是基于OpenCV的。
AR技术可广泛应用到军事、医疗、建筑、教育、project、影视、娱乐等领域。