早在2012、2013年度,手势识别领域就发生了几起重要的行业并购。比方英特尔对Omek的收购,谷歌对Flutter的收购。而苹果公司更是以3.45亿美金得高价收购了之前为微软Kinect提供技术支持的以色列公司Prime Sense。手势识别,早已成为了各大巨头角逐未来的战场。

由于巨头们正逐渐看清(手势识别)体感技术对传统操作方式的重要改变。

 

虚拟现实会是下一代人机交互界面,Oculus已经在显示输出这一端做出表率。并且表现不错。可是在输入端。也就是人该怎样在虚拟现实中发出指令和进行操作,依旧处于群雄逐鹿的状态,声控、眼动、操作杆、手势识别等各种方法。谁也不敢说自己是主导。

 

2014年低Oculus收购NimbleVR。标志着手势识别眼下基本已经胜出。相比其它方式,手势识别有这么几个优势:学习成本低,人类从一出生就在学习用手交互;灵活性高;有用性强,基于手势识别的交互方式已经有基本能用的产品。

 

手势识别也有自己的不足,比方操作时间长了手臂会累。两手交叠时会有识别不准的问题,可是综合来看。现阶段可能是最适合的方法了,其它几种可能会作为辅助输入方式。比方眼动和声控,在某些专业竞技领域,操作杆也可能会成为主导输入方式。

 

Nimble VR是一家成立于2012年的手势识别技术公司,创始人Robert2011年从MIT的计算机系博士毕业,专攻手势识别。被收购时公司也仅仅有4名员工。

Nimble VR研究运动追踪照相机系统和可以监測和分析身体骨骼结构的算法。

借用自己的游戏经历。他们研制出了能追踪关节角度和关节位置的软件,从而制造出了真实的虚拟现实手臂。

但他们找不到一款灵敏度高到足以挑选出这些关节数据的摄像机。包含微软公司的Kinect在内,都主要用于探測大型目标,而不是细微的手部运动。因此,该研究团队设计出了自己专用的体感深度传感器Nimble Sense。

 

 

Nimble Sense

 

Nimble Sense登陆Kickstarter,众筹还没结束。就被Oculus看中。

Nimble Sense的最大特色在于能够将识别到各种手势完美地同步到VR游戏或软件之中。让用户在虚拟现实世界也能够感受到双手的存在,并且这一过程并不须要借助不论什么穿戴在手上的硬件产品。

 

Nimble Sense採用TOF深度摄像头,帧率为45fps,捕捉红外激光发射器空间内的反射密集三维点云。

真实世界的三维点云被渲染在正确的位置和角度,点云甚至能够被渲染到其它玩家的虚拟视场里面,这样在多人、社交类的应用中,能够在不同视点间互相共享点云。

假设採用双目摄像头的手势识别方式,仅仅能得到依赖于特定瞳距特定视点的两幅红外图像,不能共享给其它视点的用户使用。

 

Nimble Sense 的TOF摄像头可捕捉用户眼前 110 度的范围(这比 Oculus 的可见角度还高出 10 度),纵深范围为 10-70cm,意味着仅仅要可以看到双手,它就可以显示在虚拟现实世界之中。更可以与虚拟现实世界中的全部物体进行精准的交互。Nimble Sense在设备精度、成本、功耗三方面平衡方面有突破性进展,给用户带来实惠的TOF深度摄像头,Nimble Sense在Kickstarter的众筹价格为99美元。

 

Nimble Sense很小。能够安装在Oculus虚拟现实头盔的上方。

它会监測用户的手部运动,软件随后会採用数学方法模拟每一个手势。Nimble Sense安装在DK2的时候会遮挡住两个LED灯,这些灯是为了DK2位置跟踪用的,但不影响跟踪的性能, 安装leap motion的时候也有这个问题。

相比Leap Motion,Nimble Sense 明显识别率更高。更加灵敏。

 

Nimble Sense使用PMD传感芯片。并与PMD在软硬件上紧密合作。和Camboard不同的是Nimble Sense的光学系统是针对VR系统专门优化过的,以完毕宽视角、长距离、高精度的手部跟踪。