人机交互有哪些模式?
市场需求很大,但供给略显不足,尤其是拥有核心知识产权、技术过硬的企业不多,行业整体缺乏品牌效应。
⒈WIMP界面的形成
施乐帕洛研究中心在20世纪70年代中后期开发了Star原型,并形成了基于窗口、菜单、图标和指点设备的图形用户界面,也称为WIMP界面。
苹果最早采用了这种图形界面,斯坦福研究院在20世纪60年代的开发计划也对WIMP界面的开发产生了重要影响。该计划强调人类智能的增强,并将人而不是技术置于人机交互的中心。由于这个项目,许多硬件发明被制造出来,其中著名的鼠标就是一个。
⒉WIMP界面的问题与发展多媒体计算机和VR系统的出现,改变了人与计算机交流的方式和要求,极大地改变了人机交互。在多媒体系统中继续使用WIMP接口有其固有的缺陷:随着多媒体软硬件技术的发展,计算机可以在人机交互界面中使用各种媒体,而用户只能同时使用一个交互通道,因此计算机到用户的通信带宽远大于用户到计算机的通信带宽,这是一种不平衡的人机交互。
虚拟现实技术不仅需要高度自然的三维人机交互技术,还需要不精确的人机交互,因为交互设备和交互环境的影响,不可能也没有必要精确测量用户的输入。三维人机交互技术在科学计算可视化和三维CAD系统中起着重要的作用。
基于WIMP技术的图形用户界面,本质上是一种二维交互技术,不具备三维直接操作的能力。要从根本上改变这种不平衡的交流,人机交互技术的发展必须适应从精确交互到不精确交互、从单通道交互到多通道交互、从二维交互到三维交互的转变,开发出用户和计算机之间快速、低成本的多通道接口。从右上表可以看出人机交互模型在计算机系统发展的不同阶段的发展过程。在传统的人机系统中,人被视为操作者,只操作机器,没有真正的交互。在计算机系统中,人们仍然被称为用户。只有在VR系统中的人才是积极的参与者。
人类生活中的事件是多通道的。虽然人机多通道交互技术的发展受到软硬件的限制,但至少要满足两个条件:一是多通道整合,不同通道的组合对用户的体验非常重要;其次,允许用户在交互中产生模糊的、不准确的输入。
1.不精确交互
语音以语音识别为主,但并不强调高识别率,而是与其他通道的约束相互作用。
手势主要使用数据手套、数据衣服等设备来跟踪手和身体的动作,完成自然的人机交互。
头部跟踪主要采用电磁、超声波等方法对头部运动进行定位和交互。
眼球追踪是一种定位眼球运动过程的交互式方法。
多渠道互动的架构
多通道交互的架构首先要保证各种不精确交互通道的合成,使多通道交互存在于统一的用户界面中,同时保证这种通道的合成可以在交互过程中随时进行。图1和图2显示了这两种不同的架构。一个好的架构应该确保多个通道的集成不仅仅发生在应用程序级别。
人机交互技术是用户界面研究中发展最快的领域之一,各国都非常重视。在国家关键技术中,美国将人机界面列为与软件和计算机并列的信息技术六大关键技术之一,并称之为“对计算机产业和其他产业都非常重要”。在国防关键技术中,人机界面不仅是软件技术的重要内容之一,也是与计算机和软件技术并列的11关键技术之一。欧洲的欧洲信息技术研究与发展战略计划(ESPRIT)也专门设立了用户界面技术项目,包括用于人机交互的多通道人机界面。
ce).整个智能计算机系统在这一领域保持领先地位是非常重要的。基于新型人机界面交互技术的发展,可以驱动和引导相关软硬件技术的发展,使更有效地利用计算机的计算能力成为可能。
一.语音学
毫无疑问,片中女主角的声音充满了磁性和魅力,很容易让人遐想,但作为严谨的人机界面能如此潇洒吗?个人觉得很难。
1.输入很难有效识别,原因有三:
A.方言种类繁多,口音各异,需要建立庞大的数据库来区分。所以指令的准确性很难保证。
B.语言有丰富的意义,也有许多歧义,这与语言环境和表达习惯密切相关。同一句话,因为场合不同,或者说的人不同,表达的意思可能完全不同。
C.采用异步串行单工模式,传输效率极低,完全不支持多人操作。
因此,语音输入受到其特性的限制。目前只支持发音标准的简单指令,未来很难有大的突破。
2.输出中也有类似的问题。
A.异步串行模式无法实现快速通信,就像听新闻一样,你得从头听到尾,否则你就不知道中间拉的是什么。
B.也因为理解障碍很难用正确的语气表达出来,现有的机读基本听不进去。
2.手势识别
该方法利用手势输入图像信息,完成人机智能交互。其优点是采用非接触方式,不受距离和显示设备大小的限制。它在一些特定的应用中有很好的前景,但它的许多缺点也是致命的。
1.手势识别
手势识别使用类似鼠标的相对定位系统,需要光标来识别当前位置。要移动到一个地方,首先要知道光标在哪里,要往哪个方向走,需要一直不断地反馈当前位置给用户,才不会偏离。换句话说,相对定位系统需要二次定位,先判断当前位置,再判断运动轨迹。如果鼠标一直在屏幕上,第一次定位可以很大程度上忽略,那么手势的第二次定位几乎让人无法忍受。想象一下,你本来想点击一个按钮,但是你还是要先找出你的手在哪里。这绝对是反人类的,低效的。
2.手势识别和定位精度低。
因为每个人的手的结构并不完全一样,通过捕捉动作很难做到准确定位。如果两个目标距离很近,比如两个字,就无法分辨具体方向。
3.信息量小。
手势只能识别一些简单的动作,复杂的操作无法有效区分。
4.很难检测和识别手势目标。
A.手是有弹性的物体,同样的手势之间差异很大;
B.手位于3D空间中,并且计算机获得的图像被投影到2D空间中。投影方向不同时图像差别很大,手也很难定位,所以投影方向很重要;
C.手的表面不光滑,容易产生阴影,对手势识别也会有影响;
D.手指特征是手势识别的关键,手掌特征是冗余信息。在复杂背景下清晰区分目标特征,尤其是手脸遮挡和手腕去除,也是一个不可逾越的难题。
如果声音和手势都不靠谱,还有哪些可能的办法?
看下面几张剧照。有没有似曾相识的感觉?这个垫状的东西就是《2001:太空漫游》中为我们描述的装置。这部电影的制作时间是1968。今天的大叔们还没有来到这个世界上,所以很遗憾,当时由于特效的不可能性,我们看不到屏幕上戳戳比划与这台机器互动的桥梁,但这仍然不妨碍它获得奥斯卡最佳视觉效果奖。
值得一提的是,苹果和三星对簿公堂,当庭声讨三星平板侵权时,三星的反击证据就有这个科幻的理由。三星的原文是这样的:“平板电脑(在《2001:太空漫游》中)是长方形的,屏幕占据了很大的空间,侧面很窄,前后表面很平,整体很薄。”换句话说,三星认为平板电脑已经不是什么新想法了。我抄了你,你也抄了《2001:太空漫游》!
今天,过去的幻想已经成为现实。随着技术的突破,手机、pad等小玩具以迅雷不及掩耳之势席卷而来,抢占着我们的时间和精力,每天与我们对抗。它的定位似乎不再是奢侈品,而几乎是必需品。原因是触控操作给我们带来了近乎完美的用户体验,从而压倒了一切旧势力,实现了江山的统一。现在的智能设备,如果不是触控操作,都不好意思跟别人打招呼。毫无疑问,触摸的时代已经到来!
让我们沿着科幻作品的轨迹继续走下去,更震撼的场景出现在我们的视野中:我们生活中随处可见的各种死面,比如桌面、墙壁,都是活的,成为可以和我们实时互动的界面。
触控操作具有诸多颠覆性优势:无需二次定位、操作直观便捷、定位精度高、信息量大、同步并行效率高、易于支持多人操作等。大家已经很熟悉了,这里不再赘述。但是直到现在,触摸屏真正的优势还远没有发挥出来。
我们现在用的触摸屏产品都是以小尺寸为主,包括手机的各种pad。它们确实很方便,可以随时随地使用,但由于尺寸的限制,小尺寸的触摸屏产品也有很大的局限性。
首先,信息量小,比如寻宝就很难,远没有在电脑屏幕上过瘾,浏览网页获取信息也很累。而且它的用户体验不足,看电影,听音乐,玩游戏,这些涉及享受的体验都比较勉强。另外,只能单人使用。我们经常看到熟悉的人坐在一起玩手机的画面。表面上缩短了人与人之间的距离,实际上却使人与人之间的交流程式化,减少了最本能的亲密交流,使人更加冷漠和疏远。
还有很多问题不一一列举。简而言之,小尺寸的触摸屏更像是一种快餐,可以吃饱但不好吃。相比之下,大尺寸触摸屏才是真正的盛宴,让人们充分体验到科技带来的前所未有的震撼感。
大尺寸触摸屏上的畅快感不用多说也能轻易想象。
《三体》清晰地勾勒出了人们无限期待的未来世界,至少在人们认为三体人的威胁已经消除的日子里,就像生活在天堂一样。真希望三体搬上银幕,我会彻夜等待首映——很难想象降维攻击这么大的动作会是怎样一个华丽的场面。但是,要让屏幕真正取代家具、墙壁甚至地板,并不容易。无论是脆弱的电容屏,还是笨拙的边框屏,都面临着不可逾越的鸿沟。大尺寸触摸屏要达到实际应用水平,有几个基本条件:
1.不能像传统精致的电子产品一样小心翼翼的使用,必须足够坚固,不能有任何妨碍使用的辅助部件,从而提供像家具一样的用户体验。
2.你需要足够聪明,在各种复杂的应用场景中识别目标信息,过滤掉干扰信息,比如区分茶杯、书本等物体,排除手掌、手臂的干扰,从而准确判断人的意图并实现。
3.触控作为一种输入方式,最大的优势在于自由意志的实现,而自由意志的核心体现就是自由书写。触摸屏的目标应该是黑板、白纸等媒介,在电脑的帮助下,其体验甚至应该超过它们。自由写作的前提是不耽误,不随波逐流,能体现实力。
幸运的是,我们这次不用等上几十年。紫晓公司自主研发的X-BOARD帮助我们实现了梦想:)X-BOARD可以完全替代家具,甚至是墙壁、地板,把毫无生气、冷冰冰的物体变成一个可以随时和你互动交流的平台。
未来应用X-BOARD产品可以让触摸屏无处不在。家里的茶几,办公室的办公桌,路上的广告屏,商场的橱窗,餐厅、咖啡厅、夜店的娱乐桌,都可以是大触摸屏。在这样的表面上,你只需要通过指纹或者其他方式验证你的身份,它就会成为你自己的专属办公桌,存储在云端的接口里,数据就会呈现在你面前(背着笔记本满世界跑的时代结束了?)
不再限制单人使用,所以全家老少,我们公司的朋友同事都可以一起写写画画,一起玩游戏,讨论问题,一起喝茶聊天。可以想象,在不久的将来,XBOARD将给人们带来前所未有的用户体验,将再次颠覆人们的生活习惯。