【Augmented Reality】增强现实中的光学透射式头盔显示器的应用实例
你知道如何用真实的手来操控眼前的虚拟魔方吗?
前言
前面几篇文章,我们简要介绍了光学透射式头盔显示器(光学透视型增强现实眼镜)的基本标定方法,并分享了在该领域的一些研究心得。但是,那还仅仅是停留在理论与实验的阶段,本文将应用前面介绍过的标定技术,进行一些基本的应用。
本文将介绍一下几个应用实例,并在最后给出这几个demo的视频链接地址。
(1)在标志板上叠加显示3D物体
(2)在手机屏上叠加虚拟物体
(3)空中绘制草图实体
(4)控制虚拟魔方
----------------------------------------------------------------------
相关文章链接:
-----------------------------------------------------------------------
1 在标志板上叠加显示3D物体
准备工作:
我从网上随机找了一个凤凰图案的剪纸图,打印出来作为标志板。视觉效果图中可以看到上面密密麻麻分布着蓝色的十字线,那是我做实验测量配准误差使用的,有没有都可以。
关键点:
前面的文章已经讲了最基本的标定方法,以及扩展深入的基本思路。如果你已经完全掌握,相信这个demo是分分钟搞定的节奏!唯一要注意的是,标定时采用的标志板尺寸要与应用时候的标志板尺寸一致。例如,如果你使用长边是0.2米的标志板,并且在Unity3D中设置该标志板的尺寸为0.2,那么当你标定完成后,做其他应用的时候采用的标志板尺寸也要符合这个规则。即假如你要跟踪的标志板为0.35米,请一定要在Unity3D中设置它的尺寸为0.35,这个很重要!
视觉效果:
最后,可以透过头盔显示器的镜片,看到效果如下图。方块、树林和小恐龙已经成功叠加到我们预定的标志板上了。
2 在手机屏上叠加虚拟物体
准备工作:
先找到一张合适的图,然后将它拷贝到手机上,这样手机屏幕就可以作为跟踪对象了。我采用的图是一幅风景图案:
关键点:
本例子和上一个是相似的,唯一的不同在于,手机屏幕反光严重,给摄像头捕捉带来困难。幸运的是,我的手机还贴了磨砂膜,稍微好一些。直接将其作为跟踪对象,在视野中晃一晃,你就能看到叠加的虚拟物体了。
视觉效果:
我是把一个旋转的机器人叠加到了手机屏幕上,这样就好像让手机屏幕显示了一个“全息影像”一样。当然,这里的全息指的不是科学意义上的全息,仅仅指的是多视角可视的三维虚拟成像。
3 空中绘制草图实体
准备工作:
如果想用手在空中绘制一些图画,必须要跟踪手的位置。我们建议采用leap motion 做为跟踪手的传感器,同样使用前面的标定方法,可以建立leap motion坐标系和人眼-HMD虚拟摄像机坐标系之间的联系。这个传感器经常配合虚拟现实HMD使用,我们将它用在增强现实HMD上,同样惊艳。
关键点:
由于标定中需要一个marker,可以使用食指指尖作为marker,但是由于leap motion本身跟踪误差的存在,以及每个用户对指尖位置的不同定义,标定很容易引入较大误差。建议多选取几组对应点,以尽可能减小误差。
视觉效果:
尽管笔者绘画水平不敢恭维,但是能在空中绘画,也是极好的。想象神笔马良的神笔,画什么就能变成真的,现在我们也可以哦。
4 控制虚拟魔方
准备工作:
与第3个demo类似,我们需要一个leap motion传感器。当然为了实现较好的效果,我们还需要一个比较精致的魔方模型。我采用的模型是直接从网上下载的。
关键点:
需要对魔方模型进行一些碰撞体设置,以使得它可以支持单面的转动操作。
视觉效果:
我们可以用手移动虚拟魔方的位置,然后也可以用手指转动每一个面,最终恢复魔方。
5 视频链接
由于试了好久也无法直接上传视频到博客,所以我将本文涉及到的视频上传到了优酷,地址是:
http://v.youku.com/v_show/id_XMTg0MzI5MTMxMg==.html?spm=a2hzp.8244740.userfeed.5!2~5~5~5!3~5~A
小结
本文介绍了几种基于光学透射式头盔显示器的AR应用实例,包括显示和交互等等。未来可能会做更多的尝试,敬请关注。