前言
2009年,论坛发布了《多点触摸技术手册》,第一本中文(包括简体中文和繁体中文)多点触摸技术专著,翻译自NUI Group的《Multitouch Technologies》,简要介绍了多点触摸的硬件技术和相关软件技术。
《多点触摸技术手册》是一本概述性的书籍,在硬件技术方面着笔较重,但在软件技术和应用程序开发方面仅仅做了相关介绍,并没有深入到具体的开发中。作为社区人员,我一直有打算完善这本手册,所以在2010年夏天开始考虑这本新的文集,并命名为《About MT》,文集将会在硬件技术方面根据当前情况进行修改和补充,并对多点触摸应用程序交互设计和软件开发方面进行介绍。
因为之前少有中文资料对多点触摸进行过详细介绍,所以在这本文集前期准备过程中参考了大量的英文书籍和资料,当连载开始后,预计也会请教很多同行人,在此非常感谢在此过程中所参考资料的作者,感谢你们写了这么好的资料,同时感谢提出批评和建议的读者。
本来打算要全部写完之后再发表,但因个人知识水平有限、写作周期太长且多点触摸尚属新兴领域,连载式发表会有助于内容的准确性、时效性和社区性,故决定从2011年1月1日开始在mt2a.com论坛和我的博客连载发表文集中的文章。这本文集我尚未完成,仍在不断完善中,所以不保证连载发表的时间和间隔,但我会尽可能的保证每一篇文章的质量。
所有文章均以知识共享署名2.5 中国大陆许可协议发布。特别说明,考虑到会有可能个人和公司会将文集的内容或部分内容出于某种目的拿去当做自己的作品,所以如果想这么做,给我留言说一下。
我希望这本文集为多点触摸事业做出一份贡献,推动多点触摸行业的稳步健康快速发展。鉴于我个人知识水平和涉猎程度均有限,本文集可能会存在不少的纰漏和错误,在此非常希望读者在每篇文章和帖子下面给予批评、评论、建议,我会立刻更正内容。同时希望有更多的爱好者加⼊多点触摸技术的⾏列中。
开篇语
计算机与人机交互发展
半个世纪前,美国宾夕法尼亚大学,世界上第一台电子数字计算机诞生,从此,人们进入了以计算机这种人类最高智慧的产物所代表的电子信息时代。
现在,计算机已经深深地渗透到了我们生产生活的每一个角落,深深影响了世界发展的进程和人类生活的模式。
1959年,美国学者B.Shackel从人在操纵计算机时如何才能减轻疲劳出发,提出了被认为是人机界面的第一篇文献《关于计算机控制台设计的人机工程学》。1960年,Liklider JCK首次提出人机紧密共栖(Human-Computer Close Symbiosis)的概念,被视为人机界面学的启蒙观点。1969年在英国剑桥大学召开了第一次人机系统国际大会,同年第一份专业杂志国际人机研究(IJMMS)创刊,可以说,1969年是人机界面学发展史的里程碑。1970年,两大人机交互研究中心成立——英国Loughbocough大学HUSAT研究中心,美国Xerox公司Palo Alto研究中心。1970年到1973年出版的四本与计算机相关的人机工程学专著,为人机交互界面的发展指明了方向。20世纪80年代初期,学术界相继出版了六本专著,对最新的人机交互研究成果进行了总结。人机交互学科逐渐形成了自己的理论体系和实践范畴的架构。理论体系方面,从人机工程学独立出来,更加强调认知心理学以及行为学和社会学的某些人文科学的理论指导;实践范畴方面,从人机界面(人机接口)拓延开来,强调计算机对于人的反馈交互作用。人机界面一词被人机交互所取代。HCI中的I,也由Interface(界面/接口)变成了Interaction(交互)。
20世纪90年代后期以来,随着高速处理芯片、多媒体技术和Internet Web技术的迅速发展和普及,人机交互的研究重点放在了智能化交互、多模态(多通道)-多媒体交互、虚拟交互以及人机协同交互等以人为在中心的人机交互技术方面。
人机交互与人机界面
人机交互本质上是人与机器(计算机)的交互。从更广泛的角度理解,人机交互是指人与含有计算机的机器的交互。具体来说,人机交互用户与含有计算机的机器系统之间的双向通信,以一定的符号和动作来实现,如击键、移动鼠标、显示屏幕上的符号、图形等。这个过程包括几个子过程:识别交互对象,理解交互对象,把握对象情态,信息适应与反馈等;而人机界面是指用户与含有计算机的机器系统之间的通信媒体或手段,是人机双向信息交互的软件支持和硬件支持。这里界面定义为通信媒体或手段,它的物化体现是有关的软件支持和硬件支持,如带有鼠标的图形显示终端等。
交互是人与机器和环境作用关系状况的一种描述。界面是人与机器和环境发生交互关系的具体表达形式。交互是实现信息传达的情境刻画,而界面是实现交互的手段。在交互设计子系统中,交互是内容和灵魂,界面是形式和肉体。然而在大的产品设计系统中,交互和界面都只是解决人机关系的一种手段,而不是最终目的,其最终目的是解决和满足人的需求。
交互设计是从属于产品系统的,是对成功的产品设计的一种强有力的支持与完善。如果利用系统论的观点,交互设计是从属于产品设计系统的子系统。
人机交互与人机界面是两个有着紧密联系而又不尽相同的概念。
人机界面(Human Computer Interface,简写HCI,又称用户界面或使用者界面),是人与计算机之间传递、交换信息的媒介和对话接口,也是计算机系统的重要组成部分。人机界面简单的区分为“输入(Input)”与“输出(Output)”两种,输入指的是由人来进行机械或设备的操作,如把手、开关、门、指令下达或保养维护等,而输出指的是由机械或设备发出的通知,如故障、警告、操作说明提示等。优秀的人机接口会帮助使用者更简单、更正确、更迅速的操作机械或设备,也能使机械或设备发挥最大的效能并延长使用寿命,而目前所指的人机接口多为其狭义,也就是指软件人性化的操作接口。
多点触摸概述与发展运用
多点触摸是在同一显示界面上的多点或多用户的交互操作模式。——Jeffson Y.Han
从计算机诞生开始,人类就不断探索如何跟与计算机进行更有效地沟通并努力使沟通过程更加愉悦。在程序员和设计师们的共同努力下,计算机界面从命令行界面(Command Line Interface)一直发展到现在的图形用户界面(Graphics User Interface),在人机交互的发展过程中,鼠标和键盘一直是最基本的输入设备,而屏幕一直是计算机信息的最主要输出设备。现在,一种全新的交互方式正在向我们走来——自然用户界面(Natural User Interface),也就是俗称的触摸界面,在这种操作模式下,屏幕不仅作为输出设备,同时被作为输入设备,在屏幕上直接操作,从而操控计算机。
对于触摸技术(触控技术),人们并不陌生,银行的取款机大多有触摸屏功能,很多医院、图书馆等公共场所的大厅都有这种使用了屏幕触摸技术的电脑,支持触摸屏的手机、MP3、数码相机也层出不穷。但是这些已经存在的触控屏幕都是单点触控,只能识别和支持每次一个手指或触点的操作,若同时有两个以上的触点,就无法做出正确的反应。而多点触摸技术能把任务分解为两个方面的工作,同时采集多点信号和对每路信号的意义进行判断,也就是所谓的手势识别,从而实现同时识别多个触点同时做的触控动作。
多点触摸 (又称多重触控、多点感应、多重感应,英文为Multitouch或Multi-Touch)是一种能够在不使用传统输入设备(如鼠标、键盘等)下进行计算机的人机交互操作模式。
多点触摸技术始于1982年由多伦多大学发明的感应食指指压的多点触摸屏幕技术。同年贝尔实验室发表了首份探讨触控技术的学术文献。
1984年,贝尔实验室研制出一种能够以多于一只手控制改变画面的触摸屏,同时,多伦多大学的一组开发人员终止了相关硬件技术的研发,把研发方向转移至软件和界面上,期望能接续贝尔实验室的研发工作。同年,微软开始研究该领域。
1991年此项技术取得重大突破,Pierre Wellner发表了一份文件,他针对可以支持多点触摸的“数码服务台”研制出一种名为数码桌面的触摸屏技术,容许使用者同时以多个手指操作触摸屏幕内的影像,这为后来的发展起到了至关重要的作用。
1999年,约翰埃利亚斯和鲁尼韦斯特曼生产了几款多点触摸产品,包括iGesture板和多点触摸键盘,在2005年,被苹果电脑收购。
2006年,Siggraph大会上,纽约大学的Jefferson Y Han教授向众人演示了其最新成果,由他领导研发的新型触摸技术可由双手同时操作,并且支持多人同时操作。利用该技术,Jefferson Y Han在36英寸×27英寸大小的屏幕上,多只手指操作,在屏幕上同时画出了几根线条。与普通的触摸屏技术所不同的是,它同时可以有多个触点响应,而且响应时间小于0.1秒。
2007年,苹果和微软分别发表了应用多点触摸技术的产品计划,令该技术开始进入主流的应用。这种输入界面让使用者极大地扩充可操纵区域,带来神奇的体验感受,使大众对使用多点触摸操作电脑的兴趣大大增加。
按照冯•诺依曼的计算机构成原理,一台计算机应由运算器、存储器、控制器、输入输出设备组成。传统计算机的输入设备是键盘和鼠标,输出设备是显示器,而多点触摸计算机与传统计算机不同之处就在于它的输入与输出全都集中到了显示设备上,在屏幕上输入指令,计算机将结果反应在屏幕上。
在现有技术下,多点触摸技术所使用的显示设备主要有液晶显示器、背投显示器等。诸如全息显示器之类的设备还停留在科幻电影和科学家的实验室里。
如果你用过iPhone,就会知道多点触摸是一种很有用也很奇妙的技术。通过放大缩小的手势,可以在浏览网页时缩放页面大小,在浏览图片时对图片进行缩放和选择等操作。很多人以为多点触摸仅限于放大缩小功能,其实,放大缩小只是多点触摸的实际应用之一。有了多点触摸技术,应用就可以通过无限想象来无限扩展。程序员可以把多点触摸应用到诸多方面,从一定程度上改变或者创新出更多的操作方式,诸如在硬玻璃上弹钢琴,以及苹果手机上的PS模拟器,它通过多点触摸技术,实现方向键和其他按钮的同时组合输入。