正在进行安全检测...
发布时间:2023-10-20 13:47:24 来源:文档文库
小
中
大
字号:
一种基于LeapMotion的直观体交互技术
徐崇斌;周明全;沈俊辰;骆岩林;武仲科
【摘要】TheLeapMotionsensorcandetectthepositionandspeedinformationofhandsandfingerswithhighprecisioninreal-time,whichprovidesaneffectivewayforvolumeinteractionwithlargescreenatlong-distance.Asetofunderstandablegestureforvolumeinteractionisdesignedbyobservinggesturesoftheuserstocontroltheremoterealobjects.BydividingthenearandfarfieldregionsoftheLeapMotionsensor,areasonablemappingbetweenphysicsspaceandinformationspaceisestablished.AccordingtotheestimationsolutionforhandorientationwithDepthCamera,anorientationestimationalgorithmcombininghandnormalvectorwithfingertipvectorisproposedusingLeapMotionsensor.Inaddition,anontouchingvolumeinteractionprototypeisdesignedforlargescreenapplication,andtheprototypeevaluationisgiventhroughtheuserexperiment.Experimentalresultsshowthattheproposedalgorithmcanprovideamorenatural,intuitiveandefficientuserexperiencecomparedwiththetraditional2Dvolumeinteraction.%LeapMotion系统可高精度实时检测并跟踪手掌、手指的位置和速度等信息,为大屏幕、远距离体交互提供有效途径。通过观察用户手势远距离操控现实环境中的物体,该文设计易于理解的体交互操作手势;借助对LeapMotion传感器工作区域的远近场划分,建立合理的物理空间和信息空间映射关系;针对利用深度相机的手部姿态解算问题,结合LeapMotion传感器的特点,提出一种结合手掌法向和指尖向量的空间姿态算法;结合大屏幕体交互的任务特点,设计了支
持连续数据流的非接触式体交互原型系统;最后通过用户实验对原型系统进行评估。结果表明,和传统的2D体交互比较,该文算法的用户体验和表现更为自然、直观和高效。
【期刊名称】《电子与信息学报》【年(卷,期】2015(000002【总页数】7页(P353-359
【关键词】人机交互;虚拟现实;体可视化;体交互【作者】徐崇斌;周明全;沈俊辰;骆岩林;武仲科
【作者单位】北京师范大学信息科学与技术学院北京100875;北京师范大学信息科学与技术学院北京100875;北京师范大学信息科学与技术学院北京100875;北京师范大学信息科学与技术学院北京100875;北京师范大学信息科学与技术学院北京100875【正文语种】中文【中图分类】TP3911引言体可视化已经成为医学影像、生物可视化、地质探测和科学计算可视化等领域的一个重要工具,与传统可视化技术相比,体可视化更有助于用户直观、可靠地理解被测数据中包含的内部几何结构和特征信息[1]。目前,大部分针对体可视化的研究集中在线下和实时绘制算法,而且随着GPU的推陈出新,这些算法发展尤为迅速。然而,单单靠提高绘制性能本身并不能使用户对体数据有更为直观的理解[2]。如
何提供有效的体数据交互手段,使用户更方便地探索和分析数据,已成为当前体可视化的一个研究热点[3]。
文献[4]采用一种基于专家库的医学可视化用户界面,一旦用户选择了一个感兴趣区域(Region-Of-Interest,ROI,系统会根据模糊逻辑对不同的绘制函数进行排序,并自动给出用户最可能想要的可视化结果,不需要用户去操作复杂的菜单或工具栏。文献[5]设计了一种虚拟魔术灯(virtualmagiclantern的交互隐喻,采用Wanda作为空间输入设备,将虚拟灯光照射到的区域(通常为感兴趣区域用另一种传递函数进行绘制,通过改变光照区域的传递函数参数可以改变显示的体数据类别和绘制风格,从而实现简洁易用的体探测功能。文献[6]设计了一种手柄隐喻用于实现虚拟环境的基本操作,先用虚拟手柄穿过并绑定虚拟现实环境下的3维物体,然后通过Kinect传感器识别用户双手在3D空间的手势和移动,从而驱动虚拟手柄带动3维物体进行旋转、平移和缩放操作。文献[7]通过手势事件模拟鼠标/笔对GUI的控制和操作,并在Buxton状态模型[8]的基础上提出基于视觉手势交互的状态转移模型。
本文给出一种基于LeapMotion传感器的3维用户界面-LeVisall,借助LeapMotion,LeVisall交互技术适用于在大屏幕空间体数据的直观操作,如6DOF交互操作(3DOFRotation,3DOFTranslation及体切割和层探视等数据分析。首先在没有预先告知任何指定手势的情况下,通过形成性实验(formativestudy观察用户如何使用手势远距离操控现实环境中的物体,在其基础上设计出一套易于理解的体交互手势。然后,建立LeapMotion传感器工作区域和体数据计算空间之间的映射,将实时解算的手运动数据和矢量数据相结合,完成一个连续数据流的体交互原型系统。最后通过用户实验对原型系统进行评估。实验结果表明,和传统2D交互手段相比,LeVisall的用户体验和表现更为自然、直观和高效。2交互技术
2.1交互机制
2.1.1交互模式为了获得用户表达3D体交互最自然的方式,在最开始阶段进行简单的形成性实验。由实验设计者指定若干个体交互任务,让用户以自己认为最直观的方式用单手或者双手完成交互任务。根据形成性实验的观察,为和潜在用户的操作行为保持一致,将LeVisall的交互模式大致分为导航、编辑和探测。导航指平移、旋转和缩放体数据模型到指定姿态;编辑包括剖切体数据,浏览各剖切断面信息;探测指用虚拟滤镜或体探测工具对感兴趣区域进行层探视。
LeVisall默认是导航模式,用户在LeapMotion传感器的工作区域自由地转动手腕,驱动模型做6个自由度运动。当模型达到用户满意姿态时,可以通过停止手势锁定当前姿态并通过切换手势进入其他模式。编辑模式,用户将手势映射成不同的切割工具,对体数据进行操作,包括平面切割和超二次曲面切割。在此阶段可通过简单手势切换回导航模式,或者用RESET手势对编辑操作清零,恢复到刚进入编辑模式时的状态。用切割方法获得感兴趣区域后,用户往往需要对该区域内部进一步探索。如医学体数据在绘制时出现遮挡问题,可用滤镜等工具对不同组织进行分层剥离以达到最符合用户需求的可视化效果。探测模式,允许用户通过本文设计的手势进行层探视和基于超二次曲面的体探测。
2.1.2手势设计LeVisall可以识别3种基本的手形(handpose,分别命名为指向(point、张开(open和握拳(fist,如图1所示。为了获得上述基本手势的与视点无关的稳定识别,本文先将实时得到的手部运动数据进行姿态归一化,利用掌心点坐标和掌心法矢改变作为坐标轴的平移偏量和旋转偏量,将归一化后的手势空间分布信息和已知的3种基本手形进行模式匹配和分类,从而确定当前哪个手形处于激活状态。
结合前面关于形成性试验的一系列结论,本文给出LeVisall在不同交互模式的手势(handgesture设计。如图2所示,每一种手势都由基本手形或基本手形的组
合加上手部运动触发,而且在这些手势操作过程中,交互响应是连续实时地绘制在大屏幕上,给用户提供有效的视觉反馈。LeVisall中手势包括以下几种:
(1通用3维交互手势对体数据的基本3