虚拟现实是多种技术的综合,包括实时三维计算机图形技术,广角(宽视野)立体显示技术,对观察者头、眼和手的跟踪技术,以及触觉/力觉反馈、立体声、网络传输、语音输入输出技术等。下面对这些技术分别加以说明。
一,实时三维计算机图形技术
相比较而言,利用计算机模型产生图形图像并不是太难的事情。如果有足够准确的模型,又有足够的时间,我们就可以生成不同光照条件下各种物体的精确图像,但是这里的关键是实时。例如在飞行模拟系统中,图像的刷新相当重要,同时对图像质量的要求也很高,再加上非常复杂的虚拟环境,问题就变得相当困难。
二,广角(宽视野)的立体显示
人看周围的世界时,由于两只眼睛的位置不同,得到的图像略有不同,这些图像在脑子里融合起来,就形成了一个关于周围世界的整体景象,这个景象中包括了距离远近的信息。当然,距离信息也可以通过其他方法获得,例如眼睛焦距的远近、物体大小的比较等。
在VR系统中,双目立体视觉起了很大作用。用户的两只眼睛看到的不同图像是分别产生的,显示在不同的显示器上。有的系统采用单个显示器,但用户带上特殊的眼镜后,一只眼睛只能看到奇数帧图像,另一只眼睛只能看到偶数帧图像,奇、偶帧之间的不同也就是视差就产生了立体感。
用户(头、眼)的跟踪:在人造环境中,每个物体相对于系统的坐标系都有一个位置与姿态,而用户也是如此。用户看到的景象是由用户的位置和头(眼)的方向来确定的。
跟踪头部运动的虚拟现实头套:在传统的计算机图形技术中,视场的改变是通过鼠标或键盘来实现的,用户的视觉系统和运动感知系统是分离的,而利用头部跟踪来改变图像的视角,用户的视觉系统和运动感知系统之间就可以联系起来,感觉更逼真。另一个优点是,用户不仅可以通过双目立体视觉去认识环境,而且可以通过头部的运动去观察环境。
在用户与计算机的交互中,键盘和鼠标是目前最常用的工具,但对于三维空间来说,它们都不太适合。在三维空间中因为有六个自由度,我们很难找出比较直观的办法把鼠标的平面运动映射成三维空间的任意运动。已经有一些设备可以提供六个自由度,如3Space数字化仪和SpaceBall空间球等。另外一些性能比较优异的设备是数据手套和数据衣。
三,立体声
人能够很好地判定声源的方向。在水平方向上,我们靠声音的相位差及强度的差别来确定声音的方向,因为声音到达两只耳朵的时间或距离有所不同。常见的立体声效果就是靠左右耳听到在不同位置录制的不同声音来实现的,所以会有一种方向感。现实生活里,当头部转动时,听到的声音的方向就会改变。在VR系统中,声音的方向与用户头部的运动无关。
四,触觉与力觉反馈
在一个VR系统中,用户可以看到一个虚拟的杯子。你可以设法去抓住它,但是你的手没有真正接触杯子的感觉,并有可能穿过虚拟杯子的“表面”,而这在现实生活中是不可能的。解决这一问题的常用装置是在手套内层安装一些可以振动的触点来模拟触觉。
五,语音输入输出
在VR系统中,语音的输入输出也很重要。这就要求虚拟环境能听懂人的语言,并能与人实时交互。而让计算机识别人的语音是相当困难的,因为语音信号和自然语言信号有其“多边性”和复杂性。例如,连续语音中词与词之间没有明显的停顿,同一词、同一字的发音受前后词、字的影响,不仅不同人说同一词会有所不同,就是同一人发音也会受到心理、生理和环境的影响而有所不同。
使用人的自然语言作为计算机输入目前有两个问题,首先是效率问题,为便于计算机理解,输入的语音可能会相当啰嗦。其次是正确性问题,计算机理解语音的方法是对比匹配,而没有人的智能。
虚拟现实技术特征及其系统的关键技术
从本质上说,虚拟现实就是一种先进的计算机用户接口,它通过给用户同时提供诸如视、听、触等各种直观而又自然的实时感知交互手段、最大限度地方便用户的操作,从而减轻用户的负担、提高整个系统的工作效率。因此虚拟现实技术具有以下四个重要特征。
(一)多感知性
所谓多感知性就是指导包括视觉感知外, 还包括听觉、力觉、触觉和运动感知、甚至包括味觉感知、嗅觉感知等。
(二)存在感
又称临场感,它是指用户感到作为主角存在于模拟环境中的真实程度。理想的模拟环境应该达到使用户难以分辨真假的程度。
(三)交互性
它是指用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度(包括实时性)。我们借助与我们8的感觉器官,在虚拟的环境中体验真实的环境。
(四)自主性
是指虚拟环境中物体依据物理定律进行动作的程度。虚拟现实系统的关键技术主要由动态环境建模技术、实时三维图形生成技术、立体显示和传感器技术、应用系统开发工具和系统集成技术等五个方面组成。其中动态环境建模技术的目的是根据应用的需要获取实际环境的三维数据, 并利用获取的三维数据建立相应的虚拟环境模型。而三维图形的生成技术关键是如何实现“实时”生成。立体显示和传感器技术是虚拟现实中实施交互能力的关键。
虚拟现实技术的应用
虚拟现实技术的应用极为广泛,Helsel与Doherty在1993年对全世界范围内已经进行的805项虚拟现实研究项目作了统计,结果表明:在娱乐、教育及艺术方面的应用占据主流,其次是军事与航空,医学,商业,另外在可视化计算、制造业等方面也有相当的比重。下面简要介绍其部分应用。
(1)医学 虚拟现实技术应用大致上有两类。一是虚拟人体,也就是数字化人体,这样的人体模型医生更容易了解人体的构造和功能。另一是虚拟手术系统,可用于指导手术的进行。
(2)娱乐、艺术与教育 丰富的感觉能力与3D显示环境使得虚拟现实技术成为理想的视频游戏工具。由于在娱乐方面对虚拟现实的真实感要求不是太高,故近些年来虚拟现实技术在该方面发展最为迅猛。如Chicago(芝加哥)开放了世界上第一台大型可供多人使用的虚拟现实娱乐系统,其主题是关于3025年的一场未来战争;英国开发的称为“Virtuality”的虚拟现实游戏系统,使该系统获该年度虚拟现实产品奖;
(3)军事与航天工业 模拟与练一直是军事与航天工业中的一个重要课题,这为虚拟现实技术提供了广阔的应用前景。利用虚拟现实技术模拟战争过程已成为最先进的多快好省的研究战争、培训指挥员的方法。战争实验室在检验预定方案用于实战方面也能起巨大作用。1991年海湾战争开始前,美军便把海湾地区各种自然环境和伊拉克军队的各种数据输入计算机内,进行各种作战方案模拟后才定下初步作战方案。后来实际作战的发展和模拟实验结果相当一致。
(4)商业 虚拟现实技术常被用于推销。例如建筑工程投标时,把设计的方案用虚拟现实技术表现出来,便可把业主带入未来的建筑物里参观,如门的高度、窗户朝向、采光多少、屋内装饰等,都可以感同身受。它同样可用于旅游景点以及功能众多、用途多样的商品推销。因为用虚拟现实技术展现这类商品的魅力,比单用文字或图片宣传更加有吸引力。
(5)科技开发 虚拟现实技术可缩短开发周期,减少费用。例如克莱斯勒公司1998年初便利用虚拟现实技术,在设计某两种新型车上取得突破,首次使设计的新车直接从计算机屏幕投入生产线,也就是说完全省略了中间的试生产。 由于利用了卓越的虚拟现实技术,使克莱斯勒避免了1500项设计差错,节约了8个月的开发时间和8000万美元费用。利用虚拟现实技术还可以进行汽车冲撞试验,不必使用真的汽车便可显示出不同条件下的冲撞后果。
在虚拟现实技术已经和理论分析、科学实验一起,成为人类探索客观世界规律的三大手段。用它来设计新材料,可以预先了解改变成分对材料性能的影响。在材料还没有制造出来之前便知道用这种材料制造出来的零件在不同受力情况下是如何损坏的。
以上仅列出虚拟现实技术的部分应用前景,可以预见,在不久的将来,虚拟现实技术将会影响甚至改变我们的观念与习惯,并将深入到人们的日常工作与生活。
虚拟现实技术的进一步展望
虚拟现实从其萌芽到今天的日渐成熟已经走过了相当长的一段风雨历程。它的研究内容涉及到多项学科领域。我们同时也认识到,这个领域的技术具有巨大的潜力和广阔的应用前景。
客观而论,虚拟现实技术研究的内容还仅仅限于扩展了计算机的接口能力和刚刚涉及到人的感知系统和肌肉系统与计算机的结合作用问题,还根本未涉及“人在实践中得到的感觉信息是怎样在人的大脑中存储和加工处理成为人对客观世界的认识”这一重要过程。只有当真正开始涉及并找到对这些问题的技术实现途径时,人和信息处理系统间的隔阂才有可能被彻底的克服了。我们期待这有朝一日,虚拟现实系统成为一种对多维信息处理的强大系统,成为人进行思维和创造的助手和对人们已有的概念进行深化和获取新概念的有力工具。
我们相信随着计算机技术和网络技术的飞速发展,计算机3D运算能力和网络带宽大大提高,虚拟现实在生产生活中的应用将日益广泛。
虚拟现实仿真
1.实物虚化
实物虚化主要包括基本模型构建、空间跟踪、声音定位、视觉跟踪和视点感应等关键技术,这些技术使得真实感虚拟世界的生成、虚拟环境对用户操作的检测和操作数据的获取成为可能。
(1) 基本模型构建技术
基本模型的构建是应用计算机技术生成虚拟世界的基础,它将真实世界的对象物体在相应的三维虚拟世界中重构,并根据系统需求保存部分物理属性。深度创艺的模型构建首先是要建立对象物体的几何模型,确定其空间位置和几何元素的属性并通过GIS数据或者遥感来增强虚拟环境的真实感,并在虚拟环境中遵循一定的运动和动力学规律。当几何模型和物理模型很难准确地刻画出真实世界中存在的某些特别对象或现象时,可根据具体的需要采用一些特别的模型构建方法。
(2)空间跟踪技术
虚拟环境的空间跟踪主要是通过头盔显示器、数据手套(DATAGLOVE),立体眼镜,数据衣等交互设备上的空间传感器,确定用户的头、手、躯体或其他操作物在三维虚拟环境中的位置和方向。跟踪系统一般由发射器、接收器和电子部件组成。深度创艺的跟踪系统有电磁、机械、光学、超声等几类。数据手套是VR系统常用的人机交互设备,它可测量出手的位置和形状从而实现环境中的虚拟手及其对虚拟物体的操纵。Cyber Glove通过手指上的弯曲、扭曲传感器和手掌上的弯度、弧度传感器,确定手及关节的位置和方向。
(3)声音跟踪技术
利用不同声源的声音到达某一特定地点的时间差、相位差、声压差等进行虚拟环境的声音跟踪是深度创艺为客户打造实物虚化的重要组成部分。声音跟踪一般包括若干个发射器、接受器和控制单元。它可以与头盔显示器相连,也可以与数据衣、数据手套等其他设备相连。
(4)视觉跟踪与视点感应技术
实物虚化的视觉跟踪技术使用从视频摄像机到X-Y平面阵列,周围光或者跟踪光在图像投影平面不同时刻和不同位置上的投影,计算被跟踪对象的位置和方向。视觉跟踪的实现必须考虑精度和操作范围间的折衷选择,采用多发射器和多传感器的设计能增强视觉跟踪的准确性,但使系统变得复杂并且昂贵。深度创艺的视点感应是必须与显示技术相结合的,采用了多种定位方法(眼罩定位、头盔显示、遥视技术和基于眼肌的感应技术),可确定用户在某一时刻的视线。例如将视点检测和感应技术集成到头盔显示系统中,飞行员仅靠“注视”就可在某些非常时期操纵虚拟开关或进行飞行控制。
2.虚物实化
确保用户在虚拟环境中获取视觉、听觉、力觉和触觉等感官认知的关键技术,是虚物实化的主要研究内容。
(1)视觉感知
虚拟环境中大部分具有一定形状的物体或现象,可以通过多种途径使用户产生真实感很强的视觉感知。CRT显示器、大屏幕投影、多方位电子墙、立体眼镜、头盔显示器(HMD)等是VR系统中常见的显示设备。不同的头盔显示器具有不同的显示技术,根据光学图像被提供的方式,头盔显示设备可分为投影式和直视式。能增强虚拟环境真实感的立体显示技术,可以使用户的左、右眼看到有视差的两幅平面图像,并在大脑中将它们合成并产生立体视觉感知。头盔显示器、立体眼镜是两种常见的立体显示设备。深度创艺基于激光全息计算的立体显示技术、用激光束直接在视网膜上成像的显示技术正在研究之中。
(2)听觉感知
听觉是仅次于视觉的感知途径,虚拟环境的声音效果,可以弥补视觉效果的不足,增强环境逼真度。
(3)力觉和触觉感知
能否让参与者产生“沉浸”感的关键因素之一是用户能否在操纵虚拟物体的同时,感受到虚拟物体的反作用力,从而产生触觉和力觉感知。由于人的力觉感知非常敏感,一般精度的装置根本无法满足要求,而研制高精度力反馈装置又相当困难和昂贵,这是人们面临的难题之一。如果没有触觉反馈,当用户接触到虚拟世界的某一物体时容易使手穿过物体。深度创艺解决这种问题的有效方法是在用户的交互设备中增加触觉反馈。触觉反馈主要是基于视觉、气压感、振动触感、电子触感和神经肌肉模拟等方法来实现的。
3.高性能计算处理技术
虚拟现实是以计算机技术为核心的现代高新科技,高性能的计算处理技术是直接影响系统性能的关键所在。具有高计算速度,强处理能力,大存储容量和强联网特性等特征的高性能计算处理技术是深度创艺研究的主要内容。
4. 分布式虚拟现实
分布式虚拟现实的研究目标是建立一个可供多用户同时异地参与的分布式虚拟环境,处于不同地理位置的用户如同进入到一个真实世界,不受物理时空的限制,通过姿势、声音或文字等“在一起”进行交流、学习、研讨、训练、娱乐,甚至协同完成同一件比较复杂的产品设计或进行同一艰难任务的演练。深度创艺分布式虚拟现实的研究有两大阵营。一个是国际互联网上的分布式虚拟现实,如基于VRML标准的远程虚拟购物。另一个是在由军方投资的高速专用网,如采用ATM技术的美国军方国防仿真互联网DSI。
目前我国三维虚拟现实技术的实现手段多是采用同期国外现成的三维图形引擎进行二次开发。比较流行,相对效率较高的三维图形引擎主要有Vega、Vegaprim、Vtree、Virtools、Quest3D等。Vega系列的引擎的设计层次太多,直接导致了顶层系统难以直接有效的发挥硬件图形设备的特性,而使其运行随着数据量的增加变得异常缓慢。
仿真技术的应用在军事与航天工业、城市规划与经营、建筑设计、房地产开发、科技馆、博物馆、专业展示馆、产品的设计与展示、古文化遗产还原以及保护、模拟训练设备、游戏、娱乐等众多领域中。
除此之外,虚拟现实技术在航天、通信、交通、医疗、教育、艺术、体育、分子化学、科学计算可视化等多个领域都有广泛的应用。我们甚至可以大胆的预测,在不久的将来虚拟现实技术将渗透到所有与信息系统相关的学科和领域。
虚拟现实技术及其发展前景
虚拟现实(Virtual Reality,VR)是计算机网络世界的热点之一,在社会生活的许多方面有着非常美好的发展前景,更是数字地球概念提出的依据和基础技术。
虚拟现实是计算机模拟的三维环境,是一种可以创建和体验虚拟世界(Virtual World)的计算机系统。虚拟环境是由计算机生成的,它通过人的视、听、触觉等作用于用户,使之产生身临其境的感觉的视景仿真。它是一门涉及计算机、图像处理与模式识别、语音和音响处理、人工智能技术、传感与测量、仿真、微电子等技术的综合集成技术。用户可以通过计算机进入这个环境并能操纵系统中的对象并与之交互。三维环境下的实时性和可交互性是其主要特征。
虚拟现实不是真的,也不是现实,它只是一个在桌面上可实时地做交互式三维图形用户界面的工具。就像窗口系统及鼠标驱动用户界面一样,虚拟现实可使得运用计算机更加有效、透明。根据设计者的构想,用户可以沉浸到数据空间中,将用户在一定时间内与现实环境相隔离,然后投入到可实时交互的虚拟环境中,并且驾驭其中的数据,使人有一种身临其境的感觉。
虚拟现实界面的数据交互工具是一项正在发展中的技术,它的目的是使信息系统尽可能地满足人的需要,人机的交互更加人性化,用户可以更直接地与数据交互。除了传统的显示器、键盘、鼠标、游戏杆外,仪器手套(Instrumented glove)、数据手套(Data Glove)、立体偏振眼镜,就是这类产品。立体视觉的产品还有头盔式显示器(HMD)、液晶快门眼镜(Liquid Crystal shutter glasses)。据报道,处于实验室研究阶段的VR设备有沉浸式VR系统,加入了如HMD、多个大型投影式显示器,甚至增加触觉、力感和接触反馈等交互式设备,更有人大胆预言会向全身数据服装的方向发展。
虚拟现实的应用领域十分广泛,主要在工程设计、计算机辅助设计(CAD)、数据可视化、飞行模拟、多媒体远程教育、远程医疗、艺术创作、游戏、娱乐等方面。
Web的出现更使虚拟现实技术引起人们普遍的关注。人们对它寄予厚望,希望利用这个技术使世界各地的人,可以在三维环境下交流。多个用户可以进行基于文本的或是声音技术的闲谈,在网上建立一个真正的三维社区已不再只是梦想中的事。
VRML是面向对象的一种语言,它类似Web超级链接所使用的HTML语言,也是一种基于文本的语言,并可以运行在多种平台之上,只不过能够更多地为虚拟现实环境服务。它提供对三维世界及其内部基本对象的描述,如球体、平面、圆锥、圆柱、立方体等,并把他们同二维的页面链接起来,是一种非常简洁的高级语言。最新的VRML2.0版除了提供VRML 1.0版的基本功能外,最主要的特点是加入了行为功能和多用户环境,使Web网上的三维世界动起来了。另外,它将支持动画、交互性、与JAVAScript和JAVA的集成及声音。VRML的出现,是由于当代网络技术与虚拟现实技术的迅猛发展的需要,它使得Web的页面不再局限于二维空间。VRML增加动作、动画模拟、传感器和声音后,网络站点创作人员可以制作规模大、交互性强的三维应用程序。
虚拟现实发展前景十分诱人,而与网络通信特性的结合,更是人们所梦寐以求的。在某种意义上说它将改变人们的思维方式,甚至会改变人们对世界、自己、空间和时间的看法。它是一项发展中的、具有深远的潜在应用方向的新技术。利用它,我们可以建立真正的远程教室,在这间教室中我们可以和来自五湖四海的朋友们一同学习、讨论、游戏,就像在现实生活中一样。使用网络计算机及其相关的三维设备,我们的工作、生活、娱乐将更加有情趣。因为数字地球带给我们的是一个绚丽多彩的三维的世界!
憧憬未来总是令人兴奋,它会引发人们的美梦般的遐想。数字地球如梦想插上科学的翅膀,使我们感到并不是遥不可及,甚至其中的一部分雏形已经应用到我们的现实生活中。