混合现实技术常见应用场景

发布时间:2023-04-15 17:11:28   来源:文档文库   
字号:
混合现实技术常见应用场景罗伟;王燕一;侯霞;庞恋苏;刘洪臣【摘要】近数十年来,一种全新的媒介形式逐步进入科学家和大众的视野——虚拟现实技术(VirtualReality,简称VR.人与计算机可以通过虚拟现实技术进行颠覆性的人机交互,带来全新的体验.随着计算机产业技术发展,虚拟现实核心技术升级进步,计算机及各类移动设备性能的提升,在虚拟现实技术基础上发展出增强现实(AugmentedReality,简称A、混合现实技术(MixedReality,简称MR.与虚拟现实完全沉浸在虚拟的环境中不同,增强现实/混合现实技术是一种将虚拟信息与真实世界巧妙融合的技术,增强现实/混合现实技术强调将虚拟的物体叠加或合成到真实世界中,在工业制造、军事、文化传播等领域已得到广泛应用,医学领域虽然应用门槛较高,但也在多个医学学科开始出现探索性质的教学、科研甚至临床应用.利用增强现实/混合现实技术对工作、生活等场景进行高精度模拟,是目前国际上计算机数字领域的热点.本文对增强现实/混合现实的由来及常见应用场景进行综述,为医学领域的进一步研究打下基础.【期刊名称】《中华老年口腔医学杂志》【年(,期】2019(017001【总页数】4(P55-58【关键词】混合现实;虚拟现实;人机交互【作者】罗伟;王燕一;侯霞;庞恋苏;刘洪臣
【作者单位】解放军总医院口腔医学中心北京100853;解放军总医院海南分院口腔科海南572013;北京信息科技大学计算机学院北京100101;解放军总医院海南分院口腔科海南572013;解放军总医院口腔医学研究所北京100853【正文语种】【中图分类】TP3920世纪后半叶以来,数字化浪潮逐渐席卷全球,各行各业逐步从真实活动进入到虚拟世界。在此过程中,人机交互设备也从传统鼠标键盘的真实交互向虚拟设备发展,逐步出现虚拟现实、增强现实、混合现实等技术。1.AR/MR简介上世纪80年代末,JaronLanier正式使用VirtualReality一词并获得广泛认可[1]。维基百科对虚拟现实技术(VirtualReality,简称VR的定义是:一个由计算机生成的模拟三维仿真环境,混合了视觉、听觉甚至触觉,人可以在其中探索、交互,是一种沉浸式模拟环境。从根本上说VR会将人带入另一个世界。2000年以来,计算设施和智能手机越来越强大,高清晰度显示和3D图像能力剧增,VR得迅速发展。各种头戴式显示设备相继问世,有力促进了VR的快速发展。比较有名的设备有GoogleCardboardSamsunggalaxyGearOculusRiftHTCvive等。得益于云计算的发展,近几年基于云端的VR应用不断出现[2]增强现实技术(AugmentedReality,简称AR是在现实世界上实时叠加计算机生成的信息,通过视觉、听觉、触觉、体感甚至嗅觉等传感器提供一个混合的交互式体验,从而实现虚拟信息对真实环境的“强化”。这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。早期有名的AR设备是谷歌眼镜,允许用户在视野内使用地图、电子邮件等服务。现在移动端也有很多支持AR等应用,最典型的
如地图类应用。下图是采用AR技术的某地图应用,在屏幕上实时显示步行路线指示。1AR地图应用混合现实技术(MixedReality,简称MR是继虚拟现实、增强现实之后,出现的全新数字全息影像技术(见图2,图3。混合现实有时也称hybridreality,它打破真实世界和数字世界的界限,借助于沉浸技术将两者融合生成一个新的环境,包容了虚拟现实和增强现实。MRAR更进一步,对环境进行识别,不只是简单的在相机的图像上叠加了虚拟图像,而是将计算机生成的图像锚定在真实世界的某一个点上。可以说MR是高保真的AR,也有人将ARMR归为一类。微软将自己的Hololens定位为MR产品,并宣称将只关注MR。其他知名产品有创业公司MagicLeap,在20188月刚刚开始开放订购。虚拟现实技术发展到现在,ARMR成了主流[3],为了保持术语使用的一惯性,在后面的文章里,AR指代低保真度的AR,而MR指高保真度的AR2虚拟现实、增强现实与混合现实随着计算机产业技术发展,虚拟现实核心技术升级进步,计算机及各类移动设备性能的提升,在虚拟现实技术基础上发展出增强现实/混合现实技术。与虚拟现实完全沉浸在虚拟的环境中不同,增强现实/混合现实是一种将虚拟信息与真实世界巧妙融合的技术,技术强调将虚拟的物体叠加或合成到真实世界中,在工业制造、军事、文化传播等领域已得到广泛应用。3一个典型混合现实技术结构图VR相比,AR/MR最大的优势在于其灵活性。在使用VR时你完全沉浸于另一个世界,难以再与真实世界互动。而使用ARMR时,更强调现实世界的信息。增强现实的显示目前有HMD(HeadMountedDisplay,即头戴式显示器,俗称头盔、投影和桌面显示三种主要方式,最受青睐的是HMD
以目前比较成熟的MR设备——微软的Hololens为例介绍一下AR/MR系统的组成,包括:透射式HMD、环境感知模块、交互设备和虚拟场景生成单元。透射式HMD负责输出虚拟和现实融合后的信号;环境感知模块负责混合现实捕获,追踪用户感官信号;交互设备负责环境控制及视线跟踪、手势及语音控制;虚拟场景生成单元负责虚拟场景的三维建模、绘制和管理。Hololens拥有3个处理器——除了常规的CPUGPU,还有专门为了混合现实定制的HPU(HolographicProcessingUnit;追踪头盔位置的惯性测量单元IMU(InertialMeasurementUnit4个环境感知摄像头,1个深度摄像头,12MP照片/HD视频摄像头;4个麦克风;1个环境光传感器等等。2.常见应用场景随着大笔资金进入AR项目和AR创业公司,一些IT巨头如谷歌、苹果、微软、高通和佳能等开始竞相大力布局ARMR,构建自己的AR/MR生态系统,第一批消费级的AR产品已经如雨后春笋般涌现。2.1工业制造计算机在产品开发中早已广泛使用,常用的系统有:计算机辅助设(CAD、计算机辅助制造(CAM、计算机辅助装配规划(CAAP等。AR技术的应用大大提高CAD/CAM处理能力[4]2.2军事模拟虚拟现实很早就被应用于军事上。20世纪60年代IvanSutherland提出虚拟世界的概念,随后美国国防部(DARPA支持下构建了头戴式显示设备“SwordofDamocles”(达摩克利斯剑。到1983年,DARPA实现了一个实时仿真系统SIM-NET(SimulationNETworking,开发多用户交互仿真。1990NASAAmesResearchCentre开发了一个虚拟风洞(VWT,使用VR设备BOOM和数据手套DataGlove分析流场[3]运用计算机仿真模拟进行军事模拟训练方面,美军走在世界前列[5]。在阿富汗、伊拉克战争准备阶段美军就在欧文堡训练基地、山姆休斯顿军事医学教育训练中心
开辟模拟实景训练和仿真模拟训练,实景还原伊拉克、阿富汗等作战场景,并要求士兵必须接受该基地3周的适应性训练后才能赶赴前线作战。通过VRAR技术,医疗队员携带多种形式的传感设备,对各种极端战场环境下的救治(极地、深海、高空,包括核化生武器致伤会有切身感受,如同亲身参加实战,对参训人员的战伤救治水平、心理承受和应变能力都有显著提高。2.3游戏领域游戏软件巨头任天堂公司2015年发布的的PokemonGoAR术应用于游戏领域,通过手机在现实世界中寻找并捕捉虚拟的精灵,凭借出色的创新性获得巨大成功。2.4旅游/数字场馆将旅游景点进行数字化,以AR形式展现景点的魅力。如2006年北京理工大学的王涌天等人提出运用增强现实技术数字化圆明园,实现圆明园的重建,通过原址、移动设备AR及头盔式AR等多种形式重现圆明园的往昔风采[6]场馆方面,AR技术能成为读者的随身助理,也能成为馆员提升工作效率的得力助手,场馆信息展示的新舞台。应用实例:读者利用AR设备观察书籍、名胜、历史遗迹等被强化物时,相关信息如馆藏书目、影音资料、景点故事等作为强化物叠加其上。还可协助读者/管理员定位图书,结合用户位置进行导航。2.5汽车领域GTC2016开发者大会上,德国马牌展示了其正在开发的AR增强现实技术在汽车领域的新应用。在汽车前挡风玻璃上显示人机交互界面,计算机会根据真实世界场景,实时动态地投射消息至前挡风玻璃上,驾驶者看到的车速、路线、交通状况等信息与路面、建筑等自然环境融为一体,通过AR交互大幅度提升了汽车驾驶体验。2.6AR购物2017年万事达联合高通等公司推出了一个新的购物系统,并集成了增强现实与生物识别技术来提升其购物体验和安全性。2.7智能家居2014年谷歌斥资32亿收购家居设备公司Nset,苹果发布智能家居平台Homekit,大量家电企业、互联网企业涌入其中。目前交互展示屏、视频墙
已较为普及,数字交互的媒体技术已经非常成熟,可以实现在家中与窗户等玻璃制品进行交互,AR条件下进行家居的摆放布置。下一步就是3D投影与AR技术的结合,投入到智能家居场景中。3.医学应用展望学者们已开始在医疗领域进行各种尝试,摸索合适的应用场景。如解剖教学[7]模拟手术训练[8]、术中导航[9]、康复训练[10]等多种场合均有望在AR/MR的支持下,获得更直观、更理想的效果。口腔医学方面,AR/MR应用范围也较广。AR/MR的虚拟投影可用在颌面外科、种植科等手术科室的医患术前沟通,直观呈现手术规划设计;也可进行术中实时导航,提高手术精准度和安全性;观察髁突和关节窝位置关系,辅助颞下颌关节病的诊断和治疗;正畸科的方案设计、最终效果显示等。随着技术不断进步,AR/MR已经成功应用于游戏、工业制造、医疗、军事、家装、购物、语言翻译等多种行业中,应用前景十分广阔。同时我们还要看到,有关AR/MR的研发还处在初级阶段,对于专业性、精准度要求较高的医疗领域来说,还有很大发展空间,需要更多的医学专业人员和软件开发人员开展紧密合作,熟悉AR/MR技术的优势和局限,才能开发出适宜的产品。但不可否认,几十年来,虚拟现实在游戏娱乐、影视制作、专业技能训练、旅游、军事、工业制造等各个方面对人类活动已产生深远影响,未来也必将给医学领域诊治过程带来深刻变革。参考文献【相关文献】[1]SinghNSinghS.Virtualreality:Abriefsurvey[C]//InternationalConferenceonInformationCommunicationandEmbeddedSystems.IEEE2017
[2]SteinickeF.BeingReallyVirtual:ImmersiveNativesandtheFutureofVirtualReality[M].Springer2016[3]FurhtB.HandbookofAugmentedReality[M].4thed.Springer2011[4]NgLX,OngSK,NeeAYC.ARCADE:ASimpleandFastAugmentedRealityComputer-AidedDesignEnvironmentUsingEverydayObjects[C]//ProceedingsofIADISInterfacesandHumanComputerInteraction2010Conference(IHCI20102010:227-234[5]李湘德,赵.VR技术的军事应用研究[J].科技进步与对策,200320(14:81-83[6]王涌天,林倞,刘越,等.亦真亦幻的户外增强现实系统—圆明园的数字重建[J].中国科学基,2006,20(2:76-80[7]McJunkinJL,JiramongkolchaiP,ChungW,etal.DevelopmentofaMixedRealityPlatformforLateralSkullBaseAnatomy[J].OtolNeurotol,2018,39(10:e1137-e114[8]SappenfieldJW,SmithWB,CooperLA,etal.VisualizationImprovesSupraclavicularAccesstotheSubclavianVeininaMixedRealitySimulator[J].AnesthAnalg,2018,127(1:83-89[9]DeibG,JohnsonA,UnberathM,etal.Imageguidedpercutaneousspineproceduresusinganopticalsee-throughheadmounteddisplay:proofofconceptandrationale[J].JNeurointervSurg,2018,10(12:1187-1191[10]ThgersenM,HansenJ,Arendt-NielsenL,etal.Removingown-limbvisualinputusingmixedreality(MRproducesa"telescoping"illusioninhealthyindividuals[J].BehavBrainRes,2018,347(17:263-271

本文来源:https://www.2haoxitong.net/k/doc/d56c0876ab956bec0975f46527d3240c8447a19b.html

《混合现实技术常见应用场景.doc》
将本文的Word文档下载到电脑,方便收藏和打印
推荐度:
点击下载文档

文档为doc格式