结合工程实践选题调研分析同类软件产品
由于智能制造和人工智能的火热,直接让机器视觉这个行业也火热起来。目前的人机交互技术已经从以计算机为中心逐步转移到以用户为中心,而手势识别技术容许用户在不需要额外工具的前提下就可以与计算机或者其他智能终端进行交互。近年来由于VR/AR技术的兴起,手势识别技术也变得越发重要,市场需求更加迫切。本次工程实践拟实现通过计算机采集双目摄像头数据,基于计算机视觉以及OpenCV工具进行图像帧预处理,进而通过机器学习方法来开发一款手势识别系统。初步达到模拟鼠标键盘来对计算机进行交互的目的。本次我将结合工程实践选题调研分析手势识别方面的软件。
我们与计算机的交互经历了“键盘鼠标”到“触控屏幕”再到“语音手势”的发展历程。手势交互是指:利用计算机图形学等技术识别人的肢体语言,并转化为命令来操作设备。手势交流作为一种新兴的蓬勃发展的交互方式,具有自然方便的优点,它将不断融合到我们的日常生活中来。微软、Leap Motion、Hand CV是手势交互领域的行业先锋,它们依托摄像头、传感器等硬件技术,计算机视觉、深度学习等软件技术将手势识别应用到了游戏设备、VR设备、车载设备和智能家居等场景中。下列是三种手势交互产品介绍。
1、微软体感设备Kinect
Kinect是微软在2010年6月14日对XBOX360体感周边外设正式发布的名字。伴随着名称的正式发布,Kinect还推出了多款配套游戏,包括Lucasarts出品的《星球大战》、MTV推出的运动游戏《Kinect Sports》、冒险游戏《Kinect Adventure》、赛车游戏《Joyride》等。Kinect不需要使用任何控制器,它依靠相机捕捉三维空间中玩家的运动,通过专门的传感器识别深度数据和力度数据,带给玩家前所未有的互动体验。
2、 Leap Motion
Leap Motion是面向PC以及Mac的体感控制器制造公司Leap于2013年2月27日发布的体感控制器,随后于5月19日在美国零售商百思买独家售卖,并于2014年8月30日正式登陆中国。Leap Motion通过传感器追踪手指,挥动手指即可浏览网页、阅读文章、翻看照片等。
3、Hand CV
Hand CV是北京英梅吉科技独立研发的单目手势识别交互系统。Hand CV 是一套基于单目摄像头的手势识别交互系统及SDK,它可以让用户在不购买任何外设的前提下实现手势操控。Hand CV最大特点是基于单目视觉,因此它们的SDK可以支持手机等的移动设备。
接下俩我将从多个方面对这三款软件进行调研。
- 这些软件的开发者是怎么说服你(陌⽣⼈)成为他们的⽤户的?他们的⽬标都是盈利么?他们的⽬标都是赚取⽤户的现⾦么?还是别的?
我使用微软体感设备Kinect是当时做大学生创新创业的时候,做了一个基于Kinect的老人看护系统的系统。其他的手势识别软件没使用过。这些软件除了Hand CV都是以商品形式出现,以盈利为目标,是耗费很高的商业化产品。Hand CV是完全免费的,目前我们并没有实现 VR 的全面普及,不会出现人人出门都戴头显的场景。而占据着我们生活最重要的智能科技就是手机,对于手机用户来说,只用下载一个APP就可以实现这种神级操作,简直再实惠不过了。因此,这项开发无意中就满足了所有人的需要。Hand CV 是全球唯一开放的单目摄像头手势识别 SDK ,它不仅鲁棒性强,还有很高的识别准确率,这对于 VR/AR 应用开发简直就是福音。Hand CV 在传统行业,不管是医疗还是工业,都一样有用武之地。
- 这些软件是如何到你⼿⾥的(邮购,下载,互相拷⻉、在线使用……)
微软体感设备Kinect是指导老师提供的。
- 这些软件有Bug 么?⼜是如何更新新版本的?
我在使用过程中没有发现。至于说到更新版本,就是针对上一版本有哪些没有测试出来或者还存在着不足的地方进行补丁修复,然后发布新版本,根据软件版本号即可了解软件更新的程度。软件产品一般都是保持一套相对恒定的接口,这样软件私有实现改变增多,用户的操作仍然保持不变会改变很少。接口是对用户可见是公有的,非公有部分是软件内部的实现,厂商对一些已知的错误修改,在推出新版本之前将实现细节隐藏起来。
- 此类软件是什么时候开始出现的,同⼀类型的软件之间是如何竞争的? 发展趋势如何?
Kinect最初是在2009年的E3上首次亮相,并在2010年E3时正式发布。2016年英梅吉科技公司正式推出HandCV手势交互识别系统,及手势识别SDK,开放给所有硬件、软件等应用开发商。Leap Motion是面向PC以及Mac的体感控制器制造公司Leap于2013年2月27日发布的体感控制器,5月13日正式上市。
同类软件之间是靠不同的特性来吸引用户,用户一般会考虑是否收费,功能是否强大,是否便于开发。
基于对市场的判断,HandCV手势交互识别系统基于单目摄像头(手机、平板、PC等),通过软件算法来实现手势识别。定位于移动VR领域,其高鲁棒性和易用性能很好地解决用户基础简单的手势操作,如确定、点选、拖拽等基础的交互手势。使得交互更自然、高效、方便。不同于市面上大多数厂商如LeapMotion、usens灵感科技等致力于深度手势识别问题,需要定制硬件与适配软件才能满足复杂的交互需求,HandCV 则不需要其它外设即可完成人机之间的手势交互操作。交互方式是内容创作的瓶颈,而Hand CV 的推出则是为了彻底解决这些问题,这款产品未来会成为移动 AR/VR 内容创作的引爆点。
作为2010年成立的老牌动作追踪技术公司,Leap Motion 早在项目众筹时就获得了很多关注。 Leap Motion 也算是行业翘楚了,手势识别这个领域, Leap Motion 的双目摄像头成品在业内备受瞩目,不仅成像立体,并且适用于多种系统版本的PC机,可以无障碍的实现日常使用、绘画、游戏等等功能,但是目前存在的最大问题还是成本过高。
Kinect的创造者Alex Kipman在接受采访时表示,他们仍然将会继续为现在拥有Kinect的用户提供支持,但目前的开发工具前景则并不明确,目前微软已经不再生产Kinect了,而产品也将会在零售商的存货售尽后正式退出舞台。Kinect是一款影响深远的产品,现在它已经正式停产了。科技作者Mark Wilson认为,虽然产品已死,不过Kinect的影响仍然存在,核心技术会继续生存下去,被其它产品使用。
- 列举你在使⽤上述软件时观察到的“特殊”现象,它们和硬件有什么不同?这些能说明软件的某些本质特性么?
和硬件相比,软件不同于现实生活中的实体真实地存在,可以触摸。软件功用户体验较好,结构也没有底层硬件那么复杂。软件是虚拟的,硬件就是电脑的配置的一些看的见的,如键盘,CUP,鼠标等等,但是软件是看不见的,但是两者都相互离不开。软件更新比较快,更新速度远大于硬件。
- 你个⼈第⼀次⽤此类软件是什么时候,你当时是⼏年级,班主任叫什么?在哪⾥,什么状态,当时的软件是如何得到的(买的正版,盗版,下载?)
第一次是大二参加竞赛使用的,导员叫白生宝。就是比赛过程中需要用到它。是老师购买提供的。
- 你是如何精通这类软件的?它给你什么好处,坏处?
就是在使用的过程中不断使用它熟悉起来的,好处就是体验很棒,坏处就是不便携。
- 你现在还⽤它么,或者是同类软件的不同品牌,为何?
没在用,因为没有资金,也没有相关使用的学习机会。
- 这种软件再过10年,20年还会存在么,为什么
会存在,人机交互越过屏幕触摸向非接触式的手势识别的方向大踏步的发展,极富图像化和具备行动性的手势操作将会越来越与人们的生活相关。随着科学的发展和技术的不断成熟,科幻电影中的手势识别交互方式实现指日可待。与之相关的设备与基于普通单目摄像头的手势识别也会在未来越来越火。随着AR/VR市场的升温,手势交互体验必将迎来需求高峰。