虚拟现实期末作业

研究生课程考试成绩单

（试卷封面）

院 系 学生姓名 课程名称 授课时间 专业 学号 虚拟现实技术 年 月至 年 月 周学时 学分 简 要 评 语 考核论题 总评成绩 （含平时成绩） 增强现实技术的研究 备注 任课教师签名： 日期：

注：1. 以论文或大作业为考核方式的课程必须填此表，综合考试可不填。“简

要评语”栏缺填无效。

2. 任课教师填写后与试卷一起送院系研究生秘书处。 3. 学位课总评成绩以百分制计分。

增强现实技术的研究 1.课题研究的目的及其意义

增强现实（Augmented Reality，以下简称为AR）技术是多媒体技术在三维领域实现的重要新手段，是一种利用计算机系统产生的三维信息来增加用户对现实世界感知的技术。与传统虚拟现实技术所要达到的完全沉浸的效果不同，AR技术致力于将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，创造一个虚实结合的世界，从而实现对现实世界的“增强”。

AR技术涉及到计算机科学的多个领域，其中包括多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪与三维注册、场景融合等多项新技术与新手段；它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术。该领域的权威学者Azuma曾在1997年对增强现实系统及其所涉及的技术给出了一个较为详尽的综述，他提出增强现实系统有三个突出特点：①真实世界和虚拟世界的信息集成；②具有实时交互性；③三维尺度空间中定位增添虚拟物体的三维注册技术。

1.1.课题研究的目的

AR技术最终实现的目标是：借助光电显示技术、交互技术、计算机图形技术和可视化技术等产生现实环境中不存在的虚拟对象，并通过注册技术将虚拟对象准确地“放置”在真实环境中，使用户处于一种融合的环境中，不能区分真实和虚拟，用户所感知到的只是一个真实和虚拟相融合的唯一存在的世界。

不论是AR系统，还是传统的VR系统，都要求系统具有3I特性，即沉浸感（Immersion）、交互性（Interaction）和想象性（Imagination）。本文主要研究的是如何提高AR系统的交互性能的问题，如果系统的交互性提高了，则可以提高用户的沉浸感与想象能力。AR系统的交互性研究涉及到高精度的AR跟踪与注册技术研究、相关交互方式的研究、交互的动作、行为及碰撞检测与响应研究等多个方面。经笔者分析，影响AR虚拟对象与现实物体实时自然交互性能的关键问题主要涉及到精确注册问题、新的交互技术手段、识别与跟踪问题、虚实碰撞与遮挡问题与模拟变形反馈等许多关键问题，目前这些方面尚末引起研究者的足够重视或末得到有效的解决。

本论文的主要工作是以实现AR系统中虚以与现实交互的自然融合为目的，分别从在复杂环境下AR系统的注册技术，各种最新的自然虚实交互理论、方法

与技术、虚实环境碰撞检测技术与相关碰撞响应模拟等几个关键方面进行深入研究与探讨，力求解决目前AR系统中与虚实物体的自然物体与场景实时交互中的一些主要问题。

1.2.课题研究的意义

AR技术首先出现在工业应用领域，波音公司的Tom Caudell和他的同事于20世纪90年代初期在其设计的一个辅助布线系统中，首次提出了“增强现实”这个名词。因而从上世纪90年代起，AR技术受到越来越多的关注，该领域涌现了一系列重要的每年一届的关于增强现实的国际研讨会和工作会议，例如：增强现实国际工作会议（IWAR）、增强现实国际研讨会（ISAR）、混合与增强现实国际会议（ISMAR）、人造现实与远程存在国际会议（ICAT）等等。在SIGGRAPH会议中，“Rediscovering Our Fire”报告指出：增强现实应该受到越来越多的重视，该领域对广大学者来说具有很大的挑战性和诱惑力，并且它在未来数年中都将保持勃勃生机。此外，在原来一些研究多媒体技术与虚拟现实技术的重要杂志与国际会议也纷纷增加了AR技术的相关领域内容或出版了相关内容的专刊与特刊。

1997年，Azuma在他的经典文章《A Survey of Augmented Reality》对AR的几个关键问题进行了描述。对AR系统的目标，定义与应用进行了说明，并分析比较了光学透视式与视频式头盔显示器，并分析了注册问题及静态与动态错误的产生，展望了计算机视觉技术的应用。

2001年，Ronald Azuma，又联合Yohan Baillot，Reinhold Behringer等人发表了《Recent Advances in Augmented Reality》一文，总结了至2001年来AR技术的发展，并展望了新技术的应用。提出了混合现实的模式，并提出了可穿戴式的头盔显示器、手持式显示与基于投影的显示，并提出了室外应用对于校正、接口与人机交互方面的挑战。这些直接影响了近几年来AR相关的研究与开发工作。至2002年，室外应用等AR应用被逐渐实现，如Wayne Piekarski and BruceThomas实现了一个基于室外环境的AR游戏应用。2003年，Ivan Poupyrev，DesneyS.Tan和Mark Billinghurst开发一个通用的AR接口，提出并分析了AR交互中的一些基本问题，包括卷入操作的实现，混合物理与虚拟的工具问题，多用户等问题。差不多在同时，Andrew I.Comport，éric Marchand，Fran?ois Chaumetter提出了一种实时的无标记识别的AR系统，提出并实现了基于特征跟踪的AR系统的主要问题是3D特征跟踪的问题。2004年以来，基于室外环境、普适计算与可移动计算的AR系统已不断出现。

在国内，北京理工大学的王涌天教授等研究人员对增强现实的头盔显示器进行了持续的研究，并针对三维注册方法等问题进行了系列研究；浙江大学等多所

高校的相关研究人员研究了AR场景的光源实时检测和真实感绘制框架；早在2004年，作者所在的上海大学多媒体中心就完成了基于PC平台的AR系统的关键技术研究，其AR技术开发水平基本与国际先进水平保持一致。此外，国内相关研究单位在地理信息系统开发、城市规划等领域也有相关的应用研究。

具体而言，上海大学多媒体中心自从2002年以来，已完成了多个具体的AR项目研究，如虚拟装修系统和上海大学校园漫游系统就是两个典型的应用实例，其中虚拟装修系统利用魔幻屋系统将真实场景和虚拟物体这样两种表现手段结合起来，以一定主题展现给用户，造成身临其境的幻觉效果，可用于建筑设计、室内装修等领域。而上海大学校园漫游系统则可应用于科技馆、展览馆等场所以及电子游戏等行业。

此外，在2006年，北京理工大学的胡晓明等，设计了基于双轴加速度传感器的地磁姿态测量系统和三轴加速度传感器与三轴陀螺的混合姿态测量系统并提出了相关的算法。至2007年，南京航空航天大学的赵新灿等进行了增强现实维修诱导系统关键技术研究，并开发了一种以维修人员为中心的人性化、智能化的维修辅助系统，对维修人员进行培训和指导，可以降低维修作业难度、减少作业差错，并研究了其中的基于自然特征注册等问题。同年，浙江大学的朱杰杰等研究了增强现实中多视图几何问题，并提出了相关的虚实物体遮挡处理的加速算法与光照检测与阴影绘制等算法。通过纵贯跟踪近十年来的相关AR研究文献，可知AR的研究焦点依然在跟踪、交互和显示等方面，其具体的一些研究方向如下：

1）实现虚拟内容与真实环境重叠的图形渲染的软件与硬件； 2）跟踪用户的视角变化正确渲染适当的图形；

3）当用户视角不变时，精确跟踪校正与注册对齐虚拟与真实视图的工具； 4）支持输入与输出设备并能运行AR模拟代码的计算机处理硬件； 5）用户可熟练操作虚拟内容的交互技术；

其它方面，如可用性评估、移动/可穿戴系统、多模式多种新方式的输入/输出和新的渲染方法/软件/体系结构等。

由于AR系统是一个软硬结合的系统，因而通常研究者需要研究多个方面的内容。随着AR技术逐步迈向实际应用，其在实验室中被忽视的种种交互问题变得越来越显著，直接影响了AR系统的交互效果。本文拟从解决AR交互系统的自然实时等研究角度出发，提出以下若干AR虚实交互的关键问题，具体如下：

（1）视频跟踪技术越来越普及，与此相关其注册精度与响应时间却不能满足要求。众所周知，AR跟踪技术可分为根据传感器的跟踪技术、基于视觉的跟踪技术与混合跟踪技术。其中基于视觉的跟踪技术是利用图像处理技术来计算相